“情感分类模型”进一步降低loss要如何调整参数？

来源：11-10 文本情感分类-test脚本定义

2227181

2023-10-21

老师，用您提供的情感分类模型，尽管epoch设置为了100，但实际训练，几轮过后，loss值稳定在0.3到0.35之间，一直到100轮都不再收敛了。
我尝试的修改了层数，学习率和dropout值，发现基本没有效果。当然也发现了简化模型的可能，层数2层也能达到5层一样的效果而且略优，训练速度也更快了。8层反而恶化了。学习率改为0.01会恶化，0.0001相对0.001无改善。
因此我有两个问题：

如果要进一步降低loss，建议调节哪些参数？还是参数调节上潜力不大，关键还是要增加训练的语料？
交叉熵是衡量系统的混乱度。由于用argmax()筛选分类结果，很可能大小不同的两个交叉熵得到的分类结果是一样的。那么对于交叉熵loss，是否要追求loss值的绝对小，还是收敛到一定的范围就行了，还要合并考虑推理的实际准确率？

以上，谢谢老师。

写回答

1回答