请问离线评价时可以定义指标吗？否则每次都要去影响真正的用户
来源：6-1 个性化召回算法总结与评估方法的介绍。
慕沐9623816
2019-01-01
在课程中提到，在线要先定义评价指标，在离线训练时却没有用到。
这就意味着每个还没做过评价分析的模型，直接摆到线上去。 直接影响了线上用户，比较粗糙。 请问这块有什么办法可以解的吗？
https://coding.imooc.com/lesson/297.html#mid=20057
写回答
1回答
-
David
2019-01-01
对于召回算法，在实际项目中会评估新召回算法在测试数据集上的ctr，课程中也提到了。我这里举一个例子。如果利用推荐算法 算出A用户的推荐item 集合abcd四个item。实际生产环境的测试log中（何为实际生产环境的测试log， 拿最近一周的日志举例子。周一至周五做训练日志，周六周日的做测试log），找出用户A的展示点击日志，比如展示了adfghi，点击了ahi。那么取abcd与adfghi交集得到ad，这是分母，分子是ad中被点击的也就是a，得到新算法在测试集ctr0.5，如果这个比基线ctr还高。就可以上线到生产环境 拿到实际线上数据
112019-01-01
相似问题