售房网站模板,深圳设计公司画册设计,成都官网优化多少钱,广西地矿建设集团有限公司网站文 | Nemo知乎本文已获作者授权#xff0c;禁止二次转载现如今#xff0c;推荐系统几乎无处不在。电商购物#xff0c;有猜你喜欢。资讯阅读#xff0c;有个性推荐。听歌看电影#xff0c;都能识别你的兴趣。就连工作社交#xff0c;也会提示你可能认识的人...推荐系统火… 文 | Nemo知乎本文已获作者授权禁止二次转载现如今推荐系统几乎无处不在。电商购物有猜你喜欢。资讯阅读有个性推荐。听歌看电影都能识别你的兴趣。就连工作社交也会提示你可能认识的人...推荐系统火爆的背后是信息过载的现状下人们需要通过算法来帮助自己找到恰当的内容。每个人的兴趣和需求不同每个内容的特点也各不相同。如何在内容和用户之间根据不同的场景环境做出恰当的匹配也就是推荐系统的核心任务。举个简单的例子你平时用美团点餐它推荐的可能都是你常吃的附近美食而如果你去了一个新的旅游地它会给你推荐当地的热门特色餐饮。精准识别并满足用户不同需求的能力构成了推荐系统的能力壁垒。那么我们该如何量化评估这种差异呢单一的衡量标准不存在推荐得好不好大家最容易想到的指标就是点击率。如果我推荐的内容就是你满意的你肯定会点击使用。理论上来说完美的推荐系统似乎应该做到100%的点击率。以资讯产品举例你每次刷新刷出来的10条内容你都很喜欢全都点开看了这说明我们的推荐非常准。但这样会带来明显的问题因为我们追求高点击率所以会减少冒险尝试任何不确定的内容我们都不敢推给用户。结果就是我们只能把用户曾经点过的品类反复推给他形成信息茧房造成用户审美疲劳然后离开。这样尽管我们的点击率上去了用户留存率却下降了商业收入也自然而然下降了。此外如果我们只关注点击率就很容易忽略点击质量。举个例子推荐系统追求点击率的结果自然就是推荐更多的标题党内容造成用户点击率很高阅读时长却非常短。用户被忽悠了两三次以后很可能愤而离开。同样的如果我们只追求阅读时长可能会推出来大量的长时视频内容减少短内容的曝光机会。甚至在产品商业化阶段我们有时候为了提升广告收益还愿意牺牲一点点击率、阅读时长等用户指标...显然单一的衡量标准无法确保推荐系统满足我们的需要。多元的评估方式推荐系统通常服务于某个具体业务业务在不同的时间阶段、场景、用户群体下都有不同的目标需要灵活考虑。下面以资讯类APP举例说明不同的阶段产品发展初期我们更关注用户的粘性和留存因此重点会放在用户的点击率、PV、阅读时长上。等到追求商业变现的阶段更多考虑的就是付费率、广告点击量等商业指标。对应的推荐系统在不同的阶段也要做相应调整。不同的场景搜索场景考虑的是用户的搜索结果点击排序追求用完即走。但是feeds流考虑的是用户的CTR、阅读时长、内容多样性。两者完全不同不可混在一起。因此对于不同场景我们可以使用完全不同的推荐模型将场景隔离开。不同的用户新用户考虑的是快速留存积攒PV。老用户考虑的是探索兴趣诱导分享。此外不同偏好的用户需求各不相同财经的用户希望内容权威、及时、高效情感的读者希望内容贴近生活足够有趣。二者追求的指标显然不需要一致。考虑到各种不同的诉求我们的评估方式也要灵活变化。对不同的场景和用户模型设定单独的衡量标准。对不同的业务指标拆解出推荐系统的上线与评估标准。所谓拆解其实就是用高频变化的指标去近似代表我们追求的长期业务指标。举个例子在资讯类APP发展早期我们希望提升日活用户数提升用户的使用时长。但是只看这些结果指标并不能指导我们改进业务。因此我们可以把这些指标拆解成一些日常容易衡量评估的指标。比如日活用户数等于新增*留存新增不是推荐系统直接影响的这里暂不考虑。而留存取决于用户对我们产品的满意度而满意度又近似等于人均PV点击、CTR点击率、阅读时长、播放完成率、评论、分享、收藏、点赞等等指标。由此我们把推荐系统的评价指标就拆成了以下这些PV阅读数量通常我们用人均值代替。对于资讯类APP来说PV通常意味着用户的使用深度同时更多的PV也会带来更多的广告曝光和点击因此PV是对商业模式的一种近似简化通过灵敏的PV来间接提升我们的商业收益。用于推荐算法模型训练的素材其实最关键就是用户对各篇推荐内容点击与否的数据CTR点击率越高代表用户对你的推荐结果越满意。阅读时长、播放完成率阅读时长、播放完成率配合PV可以规避掉一些无效点击提升指标的有效性评论、分享、收藏、点赞数这些行为比一般的阅读更重更能代表用户的偏好这些指标的加入权重计分形式可以让推荐系统更准确把握用户兴趣主观评估满意度、新颖性、惊喜度这三项其实是偏主观的评价之所以加入是因为很多用户体验并不能用数据衡量往往需要用户凭主观感受打分来反映。具体做法有很多种比如1给出两篇内容让用户进行点对点的对比。2给单篇内容提供打分选项建议用户从内容与自身偏好的相关性、内容的信息量等角度给予15分的评分。3以提出开放性问题的方式来收集用户对自己信息流的反馈内容多样性对用户来说产品需要经常有新意不能陷入信息茧房因此要评估内容多样性指标。比如可以统计用户的展示历史中各种题材、类目、话题的丰富程度如何丰富度越高代表个体体验的多样性越好。从内容生产的角度还可以计算基尼系数、推荐覆盖率来判断各个内容是否都被推出去了。具体在日常工作中我们每次迭代推荐系统通常都会进行AB实验考虑对以上指标的影响如果实验整体正向并且效果显著那么我们会考虑把实验策略推全到全部用户上。算法侧的评估标准当然除了业务指标外我们还需要考虑算法本身的评估方式。毕竟推荐系统的主体是算法模型在日常的系统迭代中有大量的离线场景需要评估算法效果好坏。一般而言算法是用模型去拟合训练数据然后去预测新数据。它的评估方式也很直接即预测的准确性。具体来说有召回率、精准率、准确率、F1值、AUC、RMSE...分类预测类召回率也叫做查全率全部正样本里有多少被命中了精准率也叫做查准率即预测为正的样本里有多少是真的为正准确率一个综合评价指标计算的是全部预测项里有多少是正确的F1值综合考虑了召回率和精准率既考虑是否把全部正样本找出来也考虑找的这些正样本精准率如何对不平衡类别非常有效AUC综合考虑假正例率和真正例率得到ROC曲线后计算曲线下的面积。简单理解就是0~1之间的值值越大模型分类效果越好对不平衡类别非常有效回归预测类SSE(和方差)、均方误差MSE、MAE(平均绝对误差)、均方根误差RMSE这几个都很相似都是衡量预测值和真实值之间的差别R Squared基于方差计算出来的一个比值取值0~1之间值越大模型拟合效果越好从日常的工作流程上来说我们会先考核算法模型的AUCAUC比以往模型有所增长时我们再做线上AB实验判断业务指标的增减。通过灵敏的业务拆解指标来反映我们对业务目标的迫近。写在最后随着业务的发展推荐系统越大它的评估复杂度也会跟着提升。许多新的目标、特殊的场景都需要纳入考虑范围。比如推荐系统的健壮性是否容易被攻击、推荐时效性、推荐地域性、推荐内容质量高低、推荐重复度、用户投诉率等等...因此推荐系统的评估方式也需要动态调整。灵活调整评价体系让推荐系统更好的服务业务发展才能让推荐系统永葆生机。后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
