ECE472(深度学习)最终项目 二次神经元作为深度神经网络中的激活功能 安德鲁·洛伯(Andrew Lorber)和马克·科斯科夫斯基(Mark Koszykowski) 摘要:我们的深度学习最终项目基于Yaparla Ganesh和Rhishi Pratap Singh在使用二次神经元进行模式分类的研究中进行的一项实验研究。 他们的论文讨论了使用二次(QUAD)神经元来构建二次神经网络,这与多层感知器(MLP)模型中熟悉的线性神经元相反。 本文展示了其二次神经元作为二次激活函数的用途。 在Sigmoid激活,ReLu激活和两种新型二次激活之间进行比较。 对玩具数据集进行了广泛的实验,例如MNIST,CIFAR10,Spirals,Circles等。 实验结果显示了这些二次激活函数的使用,并激发了对该主题的进一步研究。 该存储库包含有关此主题的研究论文以及二次激活函数的源代码。 二次