卷积神经网络

以下是LeNet、AlexNet、VGGNet、GoogLeNet、ResNet五种模型的对比及相关名词解释回答：

五种模型对比

模型	LeNet	AlexNet	VGGNet	GoogLeNet	ResNet
相同点	都属于卷积神经网络，都包含卷积层、池化层、全连接层等基本组件，都用于图像相关任务，基本原理都是通过卷积核提取图像特征
不同点	网络结构简单，用于手写数字识别等简单任务	首次使用ReLU激活函数、dropout	使用叠加更小的卷积核以使相同的感受野下有更少的参数	引入Inception模块，去除全连接层，采用平均池化	引入残差连接，解决了随网络加深出现的梯度消失和退化问题
优点	奠定了CNN基础，简单高效，对简单图像任务有效	开启了深度学习在图像领域大规模应用的先河，性能大幅提升	网络结构规整，加深网络提高了特征提取能力	计算资源利用更高效，模型性能好，参数量相对少	能训练极深的网络，解决了网络退化问题，精度高
缺点	无法处理复杂的大规模图像数据	参数量大，容易过拟合，训练时间长	参数量大，计算成本高，训练时间长	Inception模块设计复杂，调参困难	残差连接可能引入额外计算量，前期训练可能收敛慢

相关名词解释

• 卷积层作用

  • 通过卷积核在图像上滑动进行卷积操作，提取图像的局部特征。

• 卷积层最重要的两个特点：

  • 局部连接：减少了参数和计算量
  • 权值共享：降低过拟合风险，增强泛化能力。

• 感受野

  • 输出层一个元素对应输入层尺寸的大小
  • 计算公式：感受野大小n = （卷积核大小n - 1）* 步长 + 感受野大小n-1

• 归一化

  • 把输入数据按照一定方法，调整到一个特定范围，使数据更容易被处理，提高准确性和效率。

• 独热编码

  • 将分类数据转换为适合机器学习算法处理的数值格式

• 泛化能力

  • 对未知数据的适应和预测能力

• ReLU激活函数的优点

  • 计算简单，速度快；模型收敛快，解决梯度消失

• 池化层

  • 降低维度，减少计算量。对卷积层提取的特征进行下采样。分最大池化和平均池化

• 全链接层

  • 将信息整合，然后分类回归处理

• dropout

  • 使一部分神经元随机失活，避免过拟合。

• 什么是残差连接（ResNet）

  • 在网络中，将某一层的输入直接与后面若干层的输出相加，作为后续层的输入，解决了随着网络加深出现的梯度消失和退化问题。

• Inception模块的作用(GoogLeNet)

  • Inception模块是GoogLeNet的核心组件。它通过并行使用多个卷积核和池化操作，然后将结果拼接在一起，能够同时提取不同尺度的特征，增加了网络对不同尺度特征的适应性，提高特征提取的能力，减少了参数量，提高计算效率。

• 为什么设置批处理大小

  • 内存限制、计算效率、优化性能和收敛速度之间找到一个平衡点

• 学习率

  • 不能过大不能过小，过大可能无法收敛，过小则会收敛过慢。要取一个适中的值

• 训练参数

  • 卷积层：
    • 参数数量=(卷积核高度×卷积核宽度×输入通道数+1)×输出通道数
    • （3 x 3 x 3 +1）*2
    • 输入输出通道数可以理解为深度，如RGB深度为3
  • 池化层：无
  • 全连接层：
    • 参数数量=(输入神经元数+1)×输出神经元数

• 卷积后尺寸

  • 公式：（输入大小 - 卷积核大小+2 * padding）/步长 +1

• 训练轮次epochs

  • 定义
    • 整个训练集上完成一次正向传播和反向传播的过程。
  • 作用：
    • 通过多轮训练降低损失值。
  • 数量：适量。
    • 过多导致过拟合（模型对训练数据拟合得过好，但泛化能力差）
    • 过少的导致欠拟合（模型未能充分学习数据的特征）。
  • 早停：损失在多个连续的 Epoch 中不再下降，则可以提前停止训练。
  • 与迭代次数关系：在一个 Epoch 中，模型需要进行 B/N 次迭代(B：训练集总样本，N批处理大小) ，每次迭代处理一个批次的数据。

• 前向传播

  • 每个神经元都对它的输入和权重相乘再相加，然后加上偏置，最后使用非线性激活函数，重复此过程，直至传递到输出层，得出预测概率

• 反向传播

  • 目的是最小化损失函数的值

• 损失函数

  • 是衡量模型预测值与真实值之间差异的函数

• Alexnet 中的水平翻转

  • 增加数据多样性，减少过拟合