关于rank的线下的评测
来源：11-1 学习排序部分总结与回顾
慕虎5084663
2019-03-19
线下评估一般使用AUC，但AUC是整体顺序的衡量，和单个用户对应的item的顺序还是有区别的。
比如在模型中增加了用户活跃度的特征，那可以让活跃用户+item这些pair，在内部顺序（单个用户对应的item的顺序）不变的情况下，活跃用户整体点击概率提升，这样造成了整体AUC提升，但是对这些活跃用户自身的推荐其实是没有意义的。
问题1:
在实际落地过程中，是否存在上述的问题？那有什么更好的衡量指标吗？
问题2:
如果单纯在最终评估一个模型的话，可以自己计算类似平均用户AUC（计算每个用户的AUC然后平均），但是如何将平均用户AUC定制成loss fun，用于模型优化的迭代中？我知道tf支持，不太清楚mllib是否支持？
在推荐系统中前期，不用tf情况的下，如何定制loss fun？谢谢
写回答
1回答
-
David
2019-03-19
第一个问题，一般采用auc，也可以采用gauc就是每个人算一个auc。
第二个问题。LTR中 point wise还是大部分解决点击率预估，而不是这一个session里点击的位置是不是最靠前。你如果想把auc这种思路用到loss 其实应该参考list wise00
相似问题