除了LR，FM（FFM）方法，CTR预测还有那些方法，应用较为广泛？

最近在看一些计算广告学方法，并重复一些论文的结果，看到一些相对较新的方法如PNN（Product-based Neural Networks)和FNN(Factorization machine supported Neural Networks)。但是在业界还没有听到广泛应用的消息。不知道除了LR，FM（FFM）方法，CTR预测还有那些方法，应用较为广泛？

lambdaJi · 2018-9-29 22:55:04

凑巧写过两篇文章：
从ctr预估问题看看f(x)设计—LR篇
从ctr预估问题看看f(x)设计—DNN篇

杨镒铭 · 2018-9-29 22:55:05

前面已经有人回答的很好了，这里从两条线补充一些近期工作，细节请参考具体论文。
一、基于传统思路改进
1、高阶FM，引入比如3阶特征交叉，high-order FM没有普及主要还是因为复杂度偏高，工业界实际使用会比较麻烦。看一些实验分析，效果也提升有限。去年nips上的文章处理这个[1607.07195] Higher-Order Factorization Machines
2、Attentional FM，赋予不同交叉项不同的权重，这个是今年ijcai的文章提的Learning the Weight of Feature Interactions via Attention Networks
二、结合深度学习的思路
这方面工作主要是想同时利用低阶和高阶交叉的效果，大体思路是低阶交叉通过fm，高阶交叉主要通过dnn。去年就已经有了题主提到的FNN、PNN，deep & wide(g厂),deep crossing(ms)。今年涌现了不少工作，其中DeepFM和DCN是基于deep & wide框架，然后在wide部分做了改进。
1、DeepFM(A Factorization-Machine based Neural Network for CTR Prediction)，wide部分使用FM，二阶交叉，不必多说。该工作的作者也提了个HNN(http://pdfs.semanticscholar.org/915e/1fb30536fdb3814d5963244bbde5beaa0707.pdf)，思路挺好，中间层也直接影响最终的输出层，不过看实验效果一般。
2、DCN([1708.05123] Deep & Cross Network for Ad Click Predictions)，wide部分通过K层来实现K+1阶交叉。deep部分虽然能捕捉高阶交叉，但是不够全面，所以使用wide部分来实现详尽的特征交叉。
3、Neural FM([1708.05027] Neural Factorization Machines for Sparse Predictive Analytics)，特征二阶交叉之后再来个mlp。八卦下看作者xiangnan he的主页，之前和Rendle在g厂合作过。

刘作涛 · 2018-9-29 22:55:06

选择还蛮多的，
LR (OWLQN, FTRL) , FM, XGBoost算是老三样了；
小众的有: 微软的Bayesian LR (Web-Scale Bayesian Click-Through Rate Prediction for Sponsored Search Advertising in Microsoft’s Bing Search Engine - Microsoft Research) , Bayesian MF (Annotated Version), 以及Yahoo的论文介绍的级联统计树模型 (http://wnzhang.net/share/rtb-papers/bid-lands.pdf)；
比较新的例如: FFM (https://www.csie.ntu.edu.tw/~cjlin/papers/ffm.pdf) (https://www.csie.ntu.edu.tw/~cjlin/papers/ffm.pdf), deepFM(A Factorization-Machine based Neural Network for CTR Prediction), FNN(https://arxiv.org/pdf/1601.02376.pdf), PNN(https://arxiv.org/pdf/1611.00144v1.pdf), wide&deep(http://static.googleusercontent.com/media/research.google.com/ko//pubs/archive/45530.pdf), deep cross network(https://arxiv.org/pdf/1708.05123.pdf), deep interest network(https://arxiv.org/pdf/1706.06978.pdf)

沈凋墨 · 2018-9-29 22:55:07

CTR预估在机器学习/深度学习里其实只是个非常非常窄的方向，从学术角度看，就是个二分类问题罢了，但在互联网广告业中，却是名副其实的“显学”，因为牵涉到千亿美元的收入规模。也正因为涉及收入，比较敏感，每家公司都会有一些秘不示人的秘诀。
但整体趋势如@王喆所说，各大公司都在往DNN走。谷歌虽然2013年出了篇用FTRL做CTR的论文，但2015年我和TensorFlow的一位工程师交流，他说已经有很多广告模型迁到了TensorFlow上，用的当然是DNN。百度13年就已经在用DNN做CTR预估，后续做过多次升级，最终的方案应该和Wide&Deep差不多。阿里的深度兴趣网络应该也和Wide&Deep比较接近，可以说Wide&Deep目前就是state-of-the-art。
介绍一下我们的一些工作，虽说算不上应用广泛，但这些工作的效果在京东这样一个体量巨大的电商平台上得到了充分验证，应该对大部分人都有一定参考价值。
我们的点击率预估模型是一个非常复杂的深度神经网络，和Wide&Deep不同的地方在于，我们还引入了CNN(如inception)和RNN，尝试从用户视觉的角度来反映图片/文字等信息对CTR的影响，最终的效果也比较突出。具体方法可以参考我们的这篇文章：Telepath: Understanding Users from a Human Vision Perspective in Large-Scale Recommender Systems ，已被AAAI18接收。
我们也在做一些跳出“CTR预估”这个框架的尝试，比如说，除了排序之外，CTR预估还广泛用于计算RTB出价，这块我们用深度强化学习直接给出出价，来代替点击率预估，最终效果也很醒目，具体方法可以参考我们的这篇文章：LADDER: A Human-Level Bidding Agent for Large-Scale Real-Time Online Auctions。
总的来说，虽然方向偏窄，大公司还是在这块投入了非常多的资源，技术也算得上日新月异，还算是个比较有趣而且有前途的方向。

邢永伟 · 2018-9-29 22:55:09

数据规模小，你怎样折腾都是可以的，无所谓广泛不广泛，只要你单机能load，什么模型不能训练，无非最终看你的特征工程、数据清洗、参数设置等一些细节了。
数据量大到一定规模，就会发现离散LR是性价比最高的一个选择。DNN自然也是一个不错的选择，但这个对于计算资源，无论是线上线下都是不可忽视的一个方面。

杨旭东 · 2018-9-29 22:55:11

《主流CTR预估模型的演化及对比》分析了主流的CTR预估模型的区别和联系，其中涉及的论文如下：
[He X, Pan J, Jin O, et al, 2014] Practical lessons from predicting clicks on ads. at facebook. ACM SIGKDD.
[Rendle, 2010] Factorization machines. In ICDM.
[Gai et al] Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction
[Cheng et al., 2016] Wide & deep learning for recommender systems. CoRR.
[W. Zhang, et al, 2016] Deep learning over multi-field categorical data: A case study on user response prediction, ECIR.
[Yanru Qu et al, 2016] Product-based Neural Networks for User Response Prediction.
[Huifeng Guo et al, 2017] DeepFM: A Factorization-Machine based Neural Network for CTR Prediction.
[Guorui Zhou et al, 2017] Deep Interest Network for Click-Through Rate Prediction.

Louis · 2018-9-29 22:55:12

GBRT，DNN，deep and wide

dd hold · 2018-9-29 22:55:13

DNN的各种模型，bat京东，美团等都有在使用

除了LR，FM（FFM）方法，CTR预测还有那些方法，应用较为广泛？

8 个回复