建商城网站,wordpress d8,开发制作小程序公司,wordpress单页主题制作文 | 水哥源 | 知乎Saying1. 集成学习的ensemble注意一定要读作昂三姆包而不是印三姆包#xff0c;一天一个算法工程师装x小技巧2. 区别bagging和boosting的准则是#xff0c;先训练的模型对于后训练的模型是否有影响3. GBDT中#xff0c;B#xff08;boosting#xff09;… 文 | 水哥源 | 知乎Saying1. 集成学习的ensemble注意一定要读作昂三姆包而不是印三姆包一天一个算法工程师装x小技巧2. 区别bagging和boosting的准则是先训练的模型对于后训练的模型是否有影响3. GBDT中Bboosting组成头部这是该方法的核心GGradient组成躯干决定大方向上的选型DTDecision Tree组成腿部想换就可以换掉4. Facebook把GBDT用在推荐里的重点是为了自动地找出特征的归类方式并没有说明树模型在推荐中优于LR但是说明树模型是顶级工具人这是 从零单排推荐系统 系列的第14讲这一讲和下一讲我们合起来把树模型在推荐中的使用讲清楚。在推荐领域里树模型属于是来得快去得也快。Facebook最开始发表Practical Lessons from Predicting Clicks on Ads at Facebook[1]的时候大家都觉得很新奇很有意思但是这个时间点DNN已经开始攻城略地了。到了embeddingDNN称霸的现在还没有什么特别好的方案能把树模型和DNN结合在一起。时至今日GBDT还可以作为一个很好的分桶工具而它的升级版XGBoost和LightGBM则是以另一个形式活在推荐系统中。如果是一个没有背景知识的同学面对GBDT这四个字母可能有点懵我们首先来拆解一下这四个字母都代表什么DTDecision Tree就是决策树具体来说Facebook的论文里面使用CART作为决策树。决策树的内容比较基础这里就不赘述了。但是它完成了两件事1非线性的分类2分桶。分桶的这个性质非常重要属于是无心插柳式的点了。BBoostingBoosting和树模型总是一起出现的本质原因是树模型往往比较弱而当我们不满足一个模型的能力想要用多个模型来融合达到最佳结果这种方法就是集成学习即ensemble learning。而ensemble learning又可以分为两种bagging和boosting如下图所示黄色的圆表示数据点蓝色立方体是模型而问号则是目标。问号的深浅表示这步需要拟合的难度。bagging使用多个模型来共同完成目标。目标不会拆解在训练时每一个模型的任务都是拟合目标在部署时可以简单把决策加起来或者投票。数据上有时候为了让模型的侧重点不同每个模型用的特征或数据不一样。前面讲过的MoE可以算是bagging而random forest就算是典型的bagging了。boosting使用多个模型来拟合目标目标是循序渐进的即后面的模型学习前面模型没学到的部分。数据上可以做区分。这一族的算法比较著名的是AdaBoost还有这一讲要讲的Gradient Boosting MachineGBM。如果对于第个样本模型的输出和真实label分别是 和 我们把损失函数表示为。最终的决策可以表示为一共有 个模型模型用 来表示。从部署上来看boosting和bagging没有区别都是一堆弱分类器决策加起来形成更强的结果。但是对于boosting前面出错的样本在后面会增大权重即前后是互相影响的而bagging的各个模型几乎是独立的。GBGradient Boosting Machine对于Gradient Boosting来说每一步中都新训练一个模型而这个模型学习的是之前所有结果综合后仍然距离目标的误差其中之前模型的结果合起来就是 所以其实等价于让 学习 和 之间相差的部分也可称之为残差。公式最后的 表示正则部分。简单起见也符合这部分技术发展的历史我们用MSE loss来代入 那么忽略掉正则项之后loss就变成了 前面括号里的计算结果就是残差了可见这个loss实际上就是希望 。另一方面如果对 求导则有所以这么看下来就要求 我们似乎可以得到结论后面加的每一个函数就是拟合在前一步的时候的负梯度。 但是要注意的是上面的推导其实是省略了正则项的如果加上正则项希望的 的结果一定会变不会再次严格等于负梯度。那为什么后续的方法还是按照负梯度来呢GBM中Gradient的含义这个问题在知乎上也有一些争论gbdt的残差为什么用负梯度代替(https://www.zhihu.com/question/63560633)有一部分人认为负梯度是下降方向所以一定是对的另一部分人认为和泰勒展开有关系其实《Gradient boosting machines, a tutorial》[2]这篇文章就明确说了In practice, given some specific loss function and/or a custom base-learner , the solution to the parameter estimates can be difficult to obtain. To deal with this, it was proposed to choose a new function to be the most parallel to the negative gradient along the observed data.所以说白了就一句话也没想那么多就是负梯度简单好用而且也不差。其实在XGBoost[3]这篇文章其实还给出了一个理由每次计算新的结果的时候上一步的结果和梯度是可以提前算好的那岂不是不用白不用GBDT组装积木所以知道了DTBGB分别是什么之后GBDT就好理解了就是在GBM中吧模型换成决策树就好了。但是这一讲得重点是我们要理解为什么Facebook使用了GBDT要理解这一点我们要从特征的处理来讲起。在一个推荐模型中特征最方便的用法是给一个ID或者用One-hot来表示这样可以很容易和前面讲的逻辑回归LR结合使用。但是对于连续值特征比如这个用户已经累计登陆了多少天值是不可以穷举的要把它们加入到模型中去比较常见的做法是分桶bucketize。例如对与用户累计登录的天数划分0-1天是一档1-7是一档7-3030-180180-365365各有一档。这样这个特征就一定可以表示为这六者之一。但是问题是这个桶的边如何才能切的很好呢可能有同学说我可以做个统计选择最有信息量的切法。但是这个分布其实是动态变化的又保证能够跟得上呢不只是连续特征有问题离散的特征也有问题。比如item ID可能有很多商品长得都没啥差距仅仅是代理商换了一下ID就不一样。这些ID可能出现的次数还很稀疏如果给这些ID都分配空间也是比较占空间且低效的我可不可以做一些压缩一堆弟弟ID就放到一个ID的桶里面好了呢理解了上面的两个问题就可以理解GBDT用在这里的动机对于item ID这个特征就单独对它用决策树训练一下点击率在决策树分裂的过程中自动地就会决定一些ID是不是在同一个叶子节点中做到某个深度之后就停止然后这个叶子节点的序号就成为新的ID。也就是说在这里使用GBDT其实只是当做一个更高级一点的分桶的工具。补充一下原论文的图来举一个例子item ID现在有5个第一棵树用来转换这个特征在做决策的过程中3号落入第一个叶子节点12落入第二个叶子节点45在第三个里面。那么输入3之后压缩后的item ID现在是1了同理12现在都是245变为3.接下来每一棵树处理一种特征以此类推刚好就有了boosting的过程。在这个算法中分为两个步骤训练好的GBDT仅仅用来转换特征。转换完成的特征仍然使用LR来进行分类GBDT只是一个变换/压缩特征的工具人罢了。文章中也给出了比较直接使用GBDT来分类效果并不会更好。其实我们也不用在GBDT上面扣得太细归纳一下就是GBDT是学过的决策树的升级版本而更进一步的版本是XGBoost和LightGBM如果我们在哪个环节需要一个树模型直接调用它们就好了。延迟转化初窥Practical Lessons from Predicting Clicks on Ads at Facebook 还讨论了一个问题所有样本一曝光的时候都只能默认是负样本只有点击了发生才能变成正样本。我们就有一个难点一方面我们是一个online learning的系统为了能做更好的预估我们希望样本马上反馈到训练环节上但是另一方面等待有可能的样本变成正样本是需要时间的如果等的时间太短就发送可能会把正样本误判成负样本。这个问题在转化CVR预估的时候非常常见比如游戏下载下载完了才算转化但是下载的时间可能会非常长你不能等到几个小时之后才发送样本吧这就是延迟转化的问题具体我们留到难点篇来讲。在本文中是简单的用一个时间窗来记录在这个窗口之内转变的正样本才记录。所以这也是比较直接的一个做法。如果等待的窗口时间设的特别长那么我们的online learning就会越来越向线下退化极端情况下可能第二天才能学习第一天完整的结果。但是根据我们的复读机理论没有快速把能点击的ID记下来一定会在性能表现上吃亏。反之如果时间窗口设定的太小在模型看来有些本来应该是正样本的现在都是负样本了负样本比例升高模型输出的CTRCVR就会变低造成低估。下期预告推荐系统精排之锋9embedding亦福亦祸XGBoost与LightGBM的新机遇往期回顾1.召回 粗排 精排如何各司其职2.拍不完的脑袋推荐系统打压保送重排策略3.简单复读机LR如何成为推荐系统精排之锋4.召回粗排精排-级联漏斗上5.召回粗排精排-级联漏斗下6.推荐系统精排看阿里妈妈再试线性模型7.推荐精排之锋FM的一小步泛化的一大步8.推荐中使用FNN/PNN/ONN/NFM优化特征交叉9.聊聊推荐系统的高阶特征交叉问题10.真正的高阶特征交叉xDeepFM与DCN-V2后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1] Practical Lessons from Predicting Clicks on Ads at FacebookADKDD2014 https://research.fb.com/wp-content/uploads/2016/11/practical-lessons-from-predicting-clicks-on-ads-at-facebook.pdf[2] Gradient boosting machines, a tutorial https://www.frontiersin.org/articles/10.3389/fnbot.2013.00021/full[3] XGBoost: A Scalable Tree Boosting SystemKDD2016https://www.kdd.org/kdd2016/papers/files/rfp0697-chenAemb.pdf
