AlexNet

在2012年前，图像特征都是机械地计算出来的，计一套新的特征函数、改进结果，并撰写论文是盛极一时的潮流.Alex Krizhevsky、Ilya Sutskever和Geoff Hinton提出了一种新的卷积神经网络变体AlexNet，在2012年ImageNet挑战赛中取得了轰动一时的成绩。AlexNet横空出世，它首次证明了学习到的特征可以超越手工设计的特征.

模型设计

• 第一层使用了11x11的卷积,以捕获更大的目标,并且后面连接了一个最大池化层
• 第二层卷积是5x5,后面也是一个最大池化层
• 第三四五层使用了3x3的卷积,并且在第五层之后使用了最大池化层
• 在最后一个卷积层后有两个全连接层，分别有4096个输出

激活函数

AlexNet将激活函数从sigmoid改成了ReLU
ReLU相比于Sigmoid有诸多优点

• 计算更加简单
• 模型训练更加容易
• 不会梯度消失

预处理

AlexNet在训练时增加了大量的图像增强数据，比喻旋转、剪切等，以减少过拟合。此外，在训练时还使用了Dropout方法，以防止两个超大的全连接层过拟合.