通过多次迭代降低loss
来源：7-4 实战（一）
码农小陈
2020-08-15
老师 我对于模型通过多次迭代来降低loss有不小的疑惑 因为本例中咱们基本上是调用接口 所以我对于整个算法的内部机理不是很明白 算法是如何通过多次迭代来降低loss的呢 既然输入数据每一次都不变 那必定每次迭代 模型的参数在改变 但这个参数是哪个呢 （我个人的猜想是每个层级之间的权重 ？） 希望老师予以解惑 如果不好解释 老师能提供相关的资料也是极好的 期待您的回复
写回答
1回答
-
flare_zhao
2020-08-16
我们先从简单的案例开始，回归分析章节中的梯度下降法，首先计算损失函数（在mlp中，这个过程称为正向传播算法，即从模型的最左侧开始，根据神经元系数，依次递推后面的结果，直到得到预测输出y'，然后基于y'与y的差异，可以得到损失函数）；
有了损失函数J，那我们就可以采用梯度下降法，寻找J变小的方向，优化的方法，则是通过向前改变模型的参数实现，我们从倒数第一层一次往倒数第二层....直到第一层，完成参数的优化，这是一次优化，重复这个流程，直到损失函数收敛，这个过程称为反向传播算法。
关于反向传播算法的详细解释：https://blog.csdn.net/dfly_zx/article/details/108034285
062020-11-01
相似问题