Task3：召回模型 YoutubeDNN, DSSM

　　召回系统决定了最终呈现给用户的推荐大致范围，后续的操作都是在物料库中取出的资料的基础上继续排序。当然，每个部分都很重要。本文中涉及到的YoutubeDNN和DSSM模型都是召回模型中的经典案例。其中YoutubeDNN更是经典中的经典，其论文对初学者非常友好，详细地讲述了整个漏斗模型的流程，以及在工业上线时的注意事项及其原因。而DSSM简单双塔结构，在我看来更易于工业实践和理解，其模型更加轻量级，而且线上线下模型分离，稳定性高的同时支持自动化构建。
YoutubeDNN模型

　　YoutubeDNN模型有着非常经典的漏斗结构：

　　首先召回，然后精排
召回系统设计

　　它的输入主要是用户侧的特征，包括用户观看的历史video序列，用户搜索的历史tokens，然后就是用户的人文特征，比如地理位置，性别，年龄这些。这些特征处理上，和之前那些模型的也比较类似，

用户历史序列，历史搜索tokens这种序列性的特征: 一般长这样[item_id5, item_id2, item_id3, ...]，这种id特征是高维稀疏，首先会通过一个embedding层，转成低维稠密的embedding特征，即历史序列里面的每个id都会对应一个embedding向量，这样历史序列就变成了多个embedding向量的形式，这些向量一般会进行融合，常见的是average pooling，即每一维求平均得到一个最终向量来表示用户的历史兴趣或搜索兴趣。
这里值的一提的是这里的embedding向量得到的方式，论文中作者这里说是通过word2vec方法计算的，关于word2vec，这里就不过多解释，也就是每个item事先通过w2v方式算好了的embedding，直接作为了输入，然后进行pooling融合。
除了这种算好embedding方式之外，还可以过embedding层，跟上面的DNN一起训练，这些都是常规操作，之前整理的精排模型里面大都是用这种方式。
论文里面使用了用户最近的50次观看历史，用户最近50次搜索历史token， embedding维度是256维，采用的average pooling。当然，这里还可以把item的类别信息也隐射到embedding，与前面的concat起来。
用户人文特征，这种特征处理方式就是离散型的依然是labelEncoder，然后embedding转成低维稠密，而连续型特征，一般是先归一化操作，然后直接输入，当然有的也通过分桶，转成离散特征，这里不过多整理，特征工程做的事情了。当然，这里还有一波操作值得注意，就是连续型特征除了用了xx本身，还用了x^2x2，logxlogx这种，可以加入更多非线性，增加模型表达能力。
这些特征对新用户的推荐会比较有帮助，常见的用户的地理位置，设备，性别，年龄等。
这里一个比较特色的特征是example age，这个特征后面需要单独整理。

　　这些特征处理好了之后，拼接起来，就成了一个非常长的向量，然后就是过DNN，这里用了一个三层的DNN，得到了输出，这个输出也是向量。
　　在整套系统的设计过程有有一些非常精妙的设计：
召回模型中加入Example Age特征

　　这个特征很有意思，其代表目前时间(也就是推送时间)与资源发布时间的差值，不仅加入了对新旧资源的考量，而且，最有意思的地方是，在上线时这个特征被设置为0或者一个适当的负数。这样设计引导网络，相当于让它预测“几分钟后这个用户播放时间最长的视频”，最终测试效果也表示，通过把这一个特征设置为0或者适当的负数可以提高模型的预测性能。

训练集预处理过程中，没有采用原始的用户日志，而是对每个用户提取等数量的训练样本

　　这是为了达到样本均衡减少高度活跃用户对于loss的过度影响。
完全摒弃了用户观看历史的时序特征，把用户最近的浏览历史等同看待

　　这个原因应该是YouTube工程师的“经验之谈”，如果过多考虑时序的影响，用户的推荐结果将过多受最近观看或搜索的一个视频的影响。YouTube给出一个例子，如果用户刚搜索过“tayer swift”，你就把用户主页的推荐结果大部分变成tayer swift有关的视频，这其实是非常差的体验。为了综合考虑之前多次搜索和观看的信息，YouTube丢掉了时序信息，讲用户近期的历史纪录等同看待。
　　国内厂商应当好好学习！
DSSM模型

　　广告推送有两种建模方案：
　　一种是自然兴趣建模，根据用户操作终端行为获得user-item关联，给不同的数据源打标获得item-tag关联，最后将上面两种关联进行join操作得到user-tag的关联实现给用户打上兴趣标签，这里相当于是从标签维度为广告主推荐人群。
　　另一种就是商业兴趣建模，在自然兴趣建模的基础上，从广告维度为广告主推荐人群，那么就需要目前大火的DSSM双塔模型了。
　　拿Youtube视频推荐系统举例，一般推荐系统中有两个流程。
　　第一步是召回模型，主要是进行初筛操作，从海量视频资源池中初步选择一部分用户可能感兴趣的视频数据子集，从数量上看可能是从千万级别筛选出百级别。
　　第二步是精排模型，主要作用是对上面找到的百级别的视频子集进一步精筛，从数量上看可能是从百级别筛选出几十级别。然后根据得分高低排序，生成一个排序列表作为用户的候选播放列表从而完成视频推荐任务。
2.1 DSSM模型的原理

　　DSSM(Deep Structured Semantic Models)也叫深度语义匹配模型，最早是微软发表的一篇应用于NLP领域中计算语义相似度任务的文章。
　　DSSM深度语义匹配模型原理很简单：获取搜索引擎中的用户搜索query和doc的海量曝光和点击日志数据，训练阶段分别用复杂的深度学习网络构建query侧特征的query embedding和doc侧特征的doc embedding，线上infer时通过计算两个语义向量的cos距离来表示语义相似度，最终获得语义相似模型。这个模型既可以获得语句的低维语义向量表达sentence embedding，还可以预测两句话的语义相似度。
2.2 DSSM深度语义匹配模型整体结构

　　DSSM模型总的来说可以分成三层结构，分别是输入层、表示层和匹配层。结构如下图所示：

2.2.1 输入层

　　输入层主要的作用就是把文本映射到低维向量空间转化成向量提供给深度学习网络。NLP领域里中英文有比较大的差异，在输入层处理方式不同。
　　(1) 英文场景
　　使用Word Hashing方法存在的问题是可能造成冲突。因为两个不同的词可能有相同的n-gram向量表示。下图是在不同的英语词典中分别使用2-gram和3-gram进行Word Hashing时的向量空间以及词语碰撞统计：

　　可以看出在50W词的词典中如果使用2-gram，也就是两个字母的粒度来切分词，向量空间压缩到1600维，产生冲突的词有1192个(这里的冲突是指两个词的向量表示完全相同，因为单词储量实在有限，本来想找几个例子说明下，结果没找到)。如果使用3-gram向量空间压缩到3W维，产生冲突的词只有22个。综合下来论文中使用3-gram切分词。
　　(2) 中文场景
　　中文输入层和英文有很大差别，首先要面临的是分词问题。如果要分词推荐jieba或者北大pkuseg，不过现在很多模型已经不进行分词了，比如BERT中文的预训练模型就直接使用单字作为最小粒度了。
2.2.2 表示层

　　DSSM模型表示层使用的是BOW(bag of words)词袋模型，没有考虑词序的信息。不考虑词序其实存在明显的问题，因为一句话可能词相同，但是语义则相差十万八千里，比如“我爱女朋友”和“女朋友爱我”可能差距蛮大的(这个小伙伴们自己体会)。
　　下图是DSSM表示层的结构：

　　最下面的Term Vector到Word Hashing将词映射到3W维的向量空间中。然后分别经过两层300维度的隐藏层，最后统一输出128维度的向量。
2.2.3 匹配层

　　现在我们把query和doc统一转换成了两个128维的语义向量，接下来如何计算它们的语义相似度呢？通过cos函数计算这两个向量的余弦相似度就可以了，公式如下：

2.3 DSSM模型的优缺点

　　先说说DSSM模型的优点：

解决了LSA、LDA、Autoencoder等方法存在的字典爆炸问题，从而降低了计算复杂度。因为英文中词的数量要远远高于字母n-gram的数量；
中文方面使用字作为最细切分粒度，可以复用每个字表达的语义，减少分词的依赖，从而提高模型的泛化能力；
字母的n-gram可以更好的处理新词，具有较强的鲁棒性；
使用有监督的方法，优化语义embedding的映射问题；
省去了人工特征工程；
采用有监督训练，精度较高。传统的输入层使用embedding的方式(比如Word2vec的词向量)或者主题模型的方式(比如LDA的主题向量)做词映射，再把各个词的向量拼接或者累加起来。由于Word2vec和LDA都是无监督训练，会给模型引入误差。

　　再说说DSSM模型的缺点：

Word Hashing可能造成词语冲突；
采用词袋模型，损失了上下文语序信息。这也是后面会有CNN-DSSM、LSTM-DSSM等DSSM模型变种的原因；
搜索引擎的排序由多种因素决定，用户点击时doc排名越靠前越容易被点击，仅用点击来判断正负样本，产生的噪声较大，模型难以收敛；
效果不可控。因为是端到端模型，好处是省去了人工特征工程，但是也带来了端到端模型效果不可控的问题。