5/5/2020第四章经典网络解读·第四章经典网络解读o 4.1 LeNet-5·4.1.1模型介绍·4.1.2模型结构■4.1.3模型特性o 4.2 AlexNet·4.2.1模型介绍·4.2.2模型结构·4.2.3模型特性o 4.3 ZFNet■4.3.1模型介绍■4.3.2模型结构·4.3.3模型特性o 4.4 Network in Network·4.4.1模型介绍■44.2模型结构■4.4.3模型特点4.5 VGGNet·4.5.1模型介绍·4.5.2模型结构4.6 GoogLeNet■4.6.1模型介绍·4.6.2模型结构■4.6.3模型特性o Restneto Denseneto4.7为什么现在的CNN模型都是在Google Net、.VGGNet或者AlexNet_上调整的？。参考文献第四章经典网络解读4.1 LeNet-54.1.1模型介绍LeNet-5是由LeC'un提出的一种用于识别手写数字和机器印刷字符的苍积神经网络(Convolutional Neural Network,CNN)四，其命名来源于作者LeCun的名字，S则是其研究成果的代号，在LeNet-5之前还有LeNet-4和LeNet-1鲜为人知。LeNet-5阐述了图像中像素特征之间的相关性能够由参数共享的卷积操作所提取，同时使用卷积、下采样（池化）和非线性映射这样的组合结构，是当前流行的大多数深度图像识别网络的基础。4.1.2模型结构fle://home/shishuai/Deskto p/第四章经典网络.html1/205/5/2020第四章经典网络解读C5:layer120INPUTC1:feature mapsOUTPU32x32S2:f.mapsFull connectionFull connection图4.1 LeNet-5网络结构图如图4.1所示，LeNet-5一共包含7层（输入层不作为网络结构），分别由2个卷积层、2个下采样层和3个连接层组成，网络的参数配置如表4.1所示，其中下采样层和全连接层的核尺寸分别代表采样范围和连接矩阵的尺寸（如卷积核尺寸中的“5×5×1/1,6”表示核大小为5×5×1、步长为1且核个数为6的卷积核)。表4.1 LeNet-5网络参数配置网络层输入尺寸核尺寸输出尺寸可训练参数量32×32×28×28×卷积层C15×5×1/1,61(5×5×1+1)×66下采样层28×28×14×14×S262×2/26(1+1)×614×14×10×10×卷积层C35×5×6/1,16616下采样层10×10×5×5×16162×2/2(1+1)×16卷积层C55×5×165×5×(5×5×16+1)×16/1,120120120全连接层1×1×120×841×1×84(120+1)×84120输出层1×1×8484×101×1×10(84+1)×10·在LeNet中，下采样操作和池化操作类似，但是在得到采样结果后会乘以一个系数和加上一个偏置项，所以下采样的参数个数是(1十1)×6而不是零。C3卷积层可训练参数并未直接连接S2中所有的特征图(Feature Map),而是采用如图4.2所示的采样特征方式进行连接（稀疏连接），生成的16个通道特征图中分别按照相邻3个特征图、相邻4个特征图、非相邻4个特征图和全部6个特征图进行映射，得到的参数个数计算公式为6×(25×3+1)+6×(25×4+1)+3×(25×4+1)+1×(25×6+1)=1516,在原论文中解释了使用这种采样方式原因包含两点：限制了连接数不至于过大（当年的计算能力比较弱）：强制限定不同特征图的组合可以使映射得到的特征图学习到不同的特征模式。fle://home/shishuai/Deskto p/第四章经典网铬.html2/205/5/2020第四章经典网络解读01234567891011121314150XXXXXX1XXXXXX2XXXX3XXX4XXXXXXX5XXXXXXX图4.2S2与C3之间的特征图稀疏连接C5卷积层在图4.1中显示为全连接层，原论文中解释这里实际采用的是卷积操作，只是刚好在5×5卷积后尺寸被压缩为1×1，输出结果看起来和全连接很相似。4.1.3模型特性·卷积网络使用一个3层的序列组合：卷积、下采样（池化）、非线性映射(LeNt-5最重要的特性，羹定了目前深层卷积网络的基础)·使用卷积提取空间特征·使用映射的空间均值进行下采样·使用tanh或sigmoid进行非线性映射·多层神经网络(MLP)作为最终的分类器·层间的稀疏连接矩阵以避免巨大的计算开销4.2 AlexNet4.2.1模型介绍2012年LSVRC(ImageNet Large Scale Visual Recognition Competition).图像分类竞赛中以间范围内模型结构能够更加复杂，它的出现证明了深层卷积神经网络在复杂模型下的有效性，使CNN在计算机视觉中流行开来，直接或间接地引发了深度学习的热潮。4.2.2模型结构fle://home/shishuai/Deskto p/第四章经典网络.html3/20