Task05:多种卷积网络模型

发表于

深度卷积神经网络（AlexNet）

LeNet: 在大的真实数据集上的表现并不尽如⼈意。

1.神经网络计算复杂。
2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。

机器学习的特征提取:手工定义的特征提取函数
神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。

神经网络发展的限制:数据、硬件

AlexNet

首次证明了学习到的特征可以超越⼿⼯设计的特征，从而⼀举打破计算机视觉研究的前状。
特征：

  1. 8层变换，其中有5层卷积（1/3/5/6/7）和2层全连接隐藏层（9/10），以及1个全连接输出层（11）。
  2. 将sigmoid激活函数改成了更加简单的ReLU激活函数。
  3. 用Dropout来控制全连接层的模型复杂度。
  4. 引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。

Image Name

使用重复元素的网络（VGG）

**VGG：**通过重复使⽤简单的基础块来构建深度模型。

Block:数个相同的填充为1、窗口形状为3×33\times 3的卷积层,接上一个步幅为2、窗口形状为2×22\times 2的最大池化层。

卷积层保持输入的高和宽不变，而池化层则对其减半。

Image Name

网络中的网络（NiN）

LeNet、AlexNet和**VGG：**先以由卷积层构成的模块充分抽取 空间特征，再以由全连接层构成的模块来输出分类结果。

NiN：串联多个由卷积层和“全连接”层构成的小⽹络来构建⼀个深层⽹络。

⽤了输出通道数等于标签类别数的NiN块，然后使⽤全局平均池化层对每个通道中所有元素求平均并直接⽤于分类。

Image Name

1×1卷积核作用

**1.**放缩通道数：通过控制卷积核的数量达到通道数的放缩。

**2.**增加非线性。1×1卷积核的卷积过程相当于全连接层的计算过程，并且还加入了非线性激活函数，从而可以增加网络的非线性。

**3.**计算参数少

NiN网络特性：

NiN重复使⽤由卷积层和代替全连接层的1×1卷积层构成的NiN块来构建深层⽹络。

NiN去除了容易造成过拟合的全连接输出层，而是将其替换成输出通道数等于标签类别数 的NiN块和全局平均池化层。

NiN的以上设计思想影响了后⾯⼀系列卷积神经网络的设计。

GoogLeNet

  1. 由Inception基础块组成。
  2. Inception块相当于⼀个有4条线路的⼦⽹络。它通过不同窗口形状的卷积层和最⼤池化层来并⾏抽取信息，并使⽤1×1卷积层减少通道数从而降低模型复杂度。
  3. 可以⾃定义的超参数是每个层的输出通道数，我们以此来控制模型复杂度。

Image Name

完整模型结构

![Image Name](Task05-多种卷积网络模型/5.png)