5/5/2020第三章深度学习基础·第三章深度学习基础03.1基本概念·3.1.1神经网络组成？·3.1.2神经网络有哪些常用模型结构？·3.1.3如何选择深度学习开发平台？·3.1.4为什么使用深层表示？·3.1.5为什么深层神经网络难以训练？·3.1.6深度学习和机器学习有什么不同？。3.2网络操作与计算·3.2.1前向传播与反向传播？■3.2.2如何计算神经网络的输出？·3.2.3如何计算卷积神经网络输出值？·3.2.4如何计算Pooling层输出值输出值？·3.2.5实例理解反向传播·3.2.6神经网络更"深"有什么意义？03.3超参数·3.3.1什么是超参数？·3.3.2如何寻找超参数的最优值？·3.3.3超参数搜索一般过程？。3.4激活函数·3.4.1为什么需要非线性激活函数？·3.4.2常见的激活函数及图像·3.4.3常见激活函数的导数计算？·3.4.4激活函数有哪些性质？·3.4.5如何选择激活函数？·3.4.6使用ReLu激活函数的优点？·3.4.7什么时候可以用线性激活函数？·34.8怎样理解Relu(<0时)是非线性激活函数？·3.4.9 Softmax定义及作用·3.4.10 Softmax函数如何应用于多分类？·3.4.11交叉熵代价函数定义及其求导推导·3.4.12为什么Tanh收敛速度比Sigmoid快？·3.4.12内聚外斥-Center Losso 3.5 Batch Size·3.5.1为什么需要Batch_Size?·3.5.2 Batch_Size值的选择·3.5.3在合理范围内，增大Batch_Size有何好处？"3.5.4盲目增大Batch_Size有何坏处？·3.5.5调节Batch_Size对训练效果影响到底如何？·3.6.1归一化含义？■3.6.2为什么要归一化？·3.6.3为什么归一化能提高求解最优解速度？·3.6.43D图解未归一化·3.6.5归一化有哪些类型？·3.6.6局部响应归一化作用■3.6.7理解局部响应归一化·3.6.8什么是批归一化(Batch Normalization)le://home/shishuai/Desk灶op/第三章深度学习基础.html1/515/5/2020第三章深度学习基础·3.6.9批归一化(BN)算法的优点·3.6.10批归一化(BN)算法流程·3.6.11批归一化和群组归一化比较·3.6.12 Weight Normalization和Batch Nommalization比较·3.6.13 Batch Normalization在什么时候用比较合适？o3.7预训练与微调(fine tuning)·3.7.1为什么无监督预训练可以帮助深度学习？·3.7.2什么是模型微调fine tuning■3.73微调时候网络参数是否更新？"3.74fine-tuning模型的三种状态。3.8权重偏差初始化■3.8.1全都初始化为0·3.8.2全都初始化为同样的值·3.8.3初始化为小的随机数·3.8.5稀疏初始化(Sparse Initialazation)·3.8.6初始化偏差。3.9学习率·3.9.1学习率的作用·3.9.2学习率衰减常用参数有哪些·3.9.3分段常数哀减■3.9.4指数衰减·3.9.5自然指数哀减·3.9.6多项式衰减·3.9.7余弦衰减。3.12 Dropout系列问题·3.12.1为什么要正则化？·3.12.2为什么正则化有利于预防过拟合？·3.12.3理解dropout正则化"3.12.4 dropout率的选择·3.12.5 dropout:有什么缺点？。3.13深度学习中常用的数据增强方法？o3.14如何理解Internal Covariate Shift?第三章深度学习基础3.1基本概念3.1.1神经网络组成？神经网络类型众多，其中最为重要的是多层感知机。为了详细地描述神经网络，我们先从最简单的神经网络说起。感知机多层感知机中的特征神经元模型称为感知机，由Frank Rosenblatt于1957年发明。简单的感知机如下图所示：le://home/shishuai/Desktop/第三章深度学习基础.html2/515/5/2020第三章深度学习基础→output其中x1,x2,x3为感知机的输入，其输出为：0,if∑u,≤thresholdoutput1,∑u>threshold假如把感知机想象成一个加权投票机制，比如3位评委给一个歌手打分，打分分别为4分、1分、一3分，这3位评分的权重分别是1、3、2，则该歌手最终得分为4×1+1×3+(-3)×2=1。按机，该选手被淘汰，因为：用-b代替threshold,输出变为：0, ifw・+b≤0output1,设置合适的x和b,一个简单的感知机单元的与非内表示如下：-2-232当输入为0,1时，感知机输出为0×(-2)+1×(-2)+3=1。复杂一些的感知机由简单的感知机单元组合而成：inputs→output多层感知机le://home/shishuai/Desktop/第三章深度学习基础.html3/51