深度学习-个人理解
得分函数的输出值。
损失函数可以求得损失值。损失值越大，代表模型的分类效果越差。
前向传播和反向传播
前向传播：输入经过网络后产生一个得分值（或者分类概率），根据这个值求得Loss值
模型参数更新
方向：梯度的反方向（即Loss变化最快的方向）
参数更新：大小*方向
对于一个训练集来说，通常用两层循环，外层为epoch，内层为一个bachsize。
神经网络的其他内容
模型训练的过拟合问题：模型在训练集表现优秀，在测试集表现较差。
- 正则话参数，消除异常点对模型的影响。
- drop-out，消除某些神经元，非全连接网络，防止出现过拟合现象。
权重矩阵的初始化：不能全部一样，随机赋值。