推荐系统论文阅读（二十)-阿里妈妈基于用户长序列历史行为的推荐SIM
论文题目：《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》
地址： https://arxiv.org/pdf/2006.05639.pdf
这是阿里妈妈发表在2020SIGIR上面的又一篇佳作，让我们来阅读一下这篇论文吧。
在CTR/CVR预估领域中，用户历史行为对CTR/CVR预估的建模是很有指导意义的，用户的历史行为序列中潜藏着用户丰富的”兴趣点“，用户的每一次行为都是某个方面兴趣的一种反应。比如我喜欢各种口红产品、喜欢洗面奶、但是又对某个牌子不是特别感兴趣，基于这些兴趣的驱动，我可能浏览、点击过很多相关领域的内容或商品，那这些历史行为是否对我未来行为的预测有帮助呢，答案是肯定的。正是基于上述这种主观的行为模式，我们才需要对用户的历史行为进行建模，用户行为队列越长，包含的用户兴趣也就越丰富，但是同样也会带来更大的挑战，其实用户的兴趣是发散的多元的，如何从发散多元的用户兴趣中找到真正对当前任务有帮助的兴趣是十分重要的。
在介绍这篇论文之前建议先去看一下阿里的另一篇论文MIMN，也是基于用户长序列进行CTR预估的论文，但是MIMN存在着几个问题，一个是因为，当用户行为序列的长度进一步增加（例如，增加10倍或比十倍更多）时，MIMN无法精确捕获给定特定候选项的用户兴趣。另一个是因为，MIMN不能很好的解决延时和存储这两个瓶颈上的棘手问题，也就是说部署到线上到时候如何才能做到延时跟其他轻量模型相近。
在淘宝中，用户的浏览序列长度可能达到上千甚至上万个，怎么高效且有效的利用这种长序列信息呢？阿里妈妈提出了SIM模型来进一步从用户丰富的长期历史行为队列中挖掘用户有价值的兴趣点，并且提供一种长行为序列线上服务化的可行性方案，接下来就来看看这篇论文吧。
模型总览：
SIM分为两个阶段，这两个阶段都有自己的核心部分，文章中将长序列用户行为特征的建模分为了两个模块，即Genral Search Unit（GSU）和Exact Search Unit（ESU），这两部分就是两个阶段的核心模块了。先简单的介绍下这两个模块的作用吧。GSU如图所示，简单理解就是从几百上千的用户长序列中挑选出TopK个跟候选Item最相似的K个Item，类比与推荐系统中的召回模块，先降低长序列物品的长度，在进行后续任务。另一个是ESU，这个模块的作用是对刚刚GSU抽取出来对K个物品进行序列建模，得到一个能代表用户长序列兴趣对向量，并利用这个向量进行后面对排序。
GSU的主要任务是从长度为T的序列中抽取出K个跟候选item相似的item，GSU有两种方式来选取TopK个物品，分别是hard-search 和soft-search。前面也提到了GSU类比于推荐系统中的召回阶段，而在多路召回中，一般也有基于Embedding的召回和基于策略规则的召回，其中hard-search就是基于规则的召回，soft-search就是基于Embedding的召回，下面来详细讲一下这两种方法。
这种方法比较直观而且实施起来比较简单，就是我们从候选行为序列中按照给定规则筛选出与当前目标任务相关的候选集，举个例子，我在淘宝上历史浏览过很不同种类的商品（比如电子产品、口红、男鞋等等），当候选广告是iphone12时，hard-search方法会从我历史行为队列中筛选出电子产品相关的行为进行建模，用于PCTR预估，而口红、男鞋大概率就不会对这次预估产生影响，通过上面这个例子大家应该能明白这种基于规则和策略的思路。论文中指出hard-search方法使用的是商品类别作为筛选的标准。
这种方法是基于Embedding的抽取方式，从上面的模型图的左侧可以看到整个soft-search的结构。这个部分也是一个子模型，模型的输入是候选Item和长序列，目标是CTR预估，用这种方式来学习候选Item和长序列Item的embedding信息。有了Embedding后，就可以将候选广告embedding和历史行为中的embedding算一个内积相似度，利用近似最近邻检索方法（论文中用的是ALSH）来得到topK相关的候选行为序列。
在这个子model中，DNN的输入是候选item 和Ur的concat，其中Ur：
注意，如果用户行为增长到一定程度，则不可能将整个用户行为直接输入模型。 在这种情况下，可以从长序列用户行为中随机采样子序列集，这些行为仍需遵循原始序列的相同分布。
这种方法的缺点就是计算开销比较大，不如基于规则的hard-search方便，优点就是效果应该会更好一些。但是论文中也提到了两种方法在效果上的差异不是特别的大，所以最后基于性能和效果的折中，采用了hard-search这种比较简单的方式。
从模型整体上来看，这部分主要是利用从GSU抽取出来的K个Item得到一个能代表用户长期兴趣的向量，并配合其他特征送的DNN里面做整体的CTR预估任务。
论文中对这K个来自GSU对item是用self-attention进行序列建模的：
其中 为：
concat中第一个是原始的embedding，第二个是关于时间的embedding。
根据self-attention的方式，我们又得到了一个向量h(K)。
这里，第二个子model也进行了ctr预估，特征是模型图上面画出来 input，还有个dien，dien前面的文章以及介绍过了，就不再赘述。
最后的loss是：
其中α和β是控制损耗权重的超参数。 在我们的实验中，如果GSU使用软搜索模型，则将α和β都设置为1。具有硬搜索模型的GSU是非参数的，并且α设置为0。
广告推荐系统对线上的计算耗时要求还是比较严格的，因为要保证用户最基本的用户体验。随着用户行为序列的进一步增长，采用传统的方式直接对长序列用户行为进行计算耗时和内存占用会增长的特别快，所以需要有针对性的对线上系统进行一定的升级和改造。文章提到在hard-search和soft-search的选择中，是基于大量的离线实验结果最终决定采用hard-search这种方便快捷有效的方式，同时信息损失也在可以接受的范围内。
一般的线上部署的系统架构图是这样：
为了让SIM能更好的给用户带来低延时的体验，阿里构建了SIM的Online Seving结构：
可以看到对于用户的行为序列，论文采用的是对每个用户采用的是两层索引的结构：key-key-value，第一个key是user_id，第二个key是category ids，value是用户行为序列中属于对应类别的item。用这种方式可以很快的通过这个索引树找到属于统一category的物品。
线上A/B Test实验效果：
用户的历史行为对于整个CTR/CVR预估任务越来越重要了，如果不考虑时间和存储，那么把所有的序列输入到模型中作为长期兴趣关键点是可以精确的定位出用户的长期兴趣的，但是由于性能的原因就不得不考虑用特殊的方法对这个长序列进行一次筛选，筛选的K个物品都是跟候选Item相似的物品，能做到裁剪的效果还不会带来CTR预估的损失。在进行筛选过程中还分为了两种方法，但是为了部署到线上，就要考虑性能最好的hard-search方式进行TopK筛选任务，这种方式跟Embedding筛选的效果是差不多的，但是速度比Embedding快，所以采用这种方式。
未来应该还会有更多针对序列推荐的论文，单纯的对长序列阶段还带来一定的兴趣偏差，所以如何有效挖掘用户更丰富行为特征背后的商业价值是需要好好思考的。
推荐系统论文阅读(二十)-阿里妈妈基于用户长序列历史行为的推荐SIM_百度...
一般的线上部署的系统架构图是这样: 为了让SIM能更好的给用户带来低延时的体验,阿里构建了SIM的Online Seving结构: 可以看到对于用户的行为序列,论文采用的是对每个用户采用的是两层索引的结构:key-key-value,第一个key是user_id,第二个key是category ids,value是用户行为序列中属于对应类别的item。用这种方式可以...
对抗训练在推荐中的应用(二):IRGAN - SIGIR2017 best paper
本文是自己在IR研究中研读的一篇顶会文章的翻译及解读，也是推荐中关于对抗训练的系列论文阅读之一 原文：IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models 地址： https:\/\/arxiv.org\/pdf\/1705.10513.pdf 对抗训练（Adversarial Training）近年来在深...
推荐系统论文阅读(二十三)-神经图协同过滤NGCF
本论文通过将用户项交互（更具体地说是二分图结构）集成到embedding过程中，开发了一个新的推荐框架神经图协同过滤（NGCF），该框架通过在其上传播embedding来利用user-item图结构。这种方法在用户项目图中进行高阶连通性的表达建模，从而以显式方式将协作信号有效地注入到embedding过程中。在介绍模型之前先...
推荐系统论文阅读(十)-基于图神经网络的序列推荐算法
（1） 是t时刻，会话s中第i个点击对应的输入， 是n✖️2n的矩阵，也就是会话子图的完整矩阵，而 是其中一行，即物品vi所对应的那行，大小为1✖️2n，n代表序列中不同物品的数量。如果按照例子来看，如果i取2，那么 为 [0 0 1\/2 1\/2 1\/2 0 1\/2 0]...
推荐系统论文阅读(二十一)-DeepFM升级版xDeepFM
论文：地址： https:\/\/arxiv.org\/pdf\/1803.05170.pdf 论文题目：《xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems》为什么要介绍这篇论文呢，因为面试的时候面试官提到了这篇论文还要我推导公式，但是我自己忘了，太尬了，所以决定来复习下了。。。在前面的文章...
推荐系统论文阅读(二十九)-美团:利用历史交互数据改进对话推荐系统
最近，对话推荐系统（CRS）已成为一个新兴且实用的研究主题。 现有的大多数CRS方法都专注于仅从对话数据中为用户学习有效的偏好表示。 然而，本论文从新的视角来利用历史交互数据来改善CRS。 为此，这篇论文提出了一种新颖的预训练方法，以通过预训练方法集成基于物品的偏好序列（来自历史交互数据）和基于...
多样性算法在58部落的实践和思考
2)业务指标和多样性指标的冲突 业务关注的指标(转化率、停留时长等)和多样性指标并不是简单的正向或者负向的关系。如果单纯为了提高多样性指标而做多样性,反而会导致最终结果与业务目标偏离,使推荐的质量下降。 综上所述,我们在58部落推荐系统的多样性实践中,排除了单纯使用多样性指标作为评估算法好坏的方法。结合...
小学一年级语文阅读教学论文
小学一年级语文阅读教学论文篇二:《小学一年级语文阅读教学点滴谈》 【摘要】如何提高小学生的语文阅读能力仍是新课标要求下较为重要的任务,多年教学经验归纳还应从听、说、读、写、思五个基础方面着手,善于观察,积极引导,培养良好学习习惯,抓住孩子的心理需求,让学生感到学习的乐趣,也会让老师感受到教书的乐趣。
如何利用用户标签数据
GroupLens在文章1中认为目前流行的推荐系统基本上通过三种方式来联系用户兴趣和物品。如图1所示,第一种方式是通过用户喜欢过的物品:可以给用户推荐与他喜欢过的物品相似的物品,这就是前面提到的基于物品的算法(item-based)。第二种方式是通过和用户兴趣相似的其他用户:可以给用户推荐那些和他们兴趣爱好相似的其他用户...
...大学城就餐推荐系统系统项目开发实战(附源码+论文)
详细ER图已在文中展示。界面设计直观，如前台的松江大学城就餐推荐系统门户，以及展示餐厅信息、美食详情和管理员登录及功能界面。部分核心代码和详细设计截图可供参考。该项目是现成的解决方案，可以直接用于毕设。如需全文或获取源码，请联系作者获取详细资料。感谢阅读，期待对您的学习或实践提供支持。
玉卓枢绮： 1、安全性 2、稳定性 3、是否兼容服务器 4、数据库设计要能承受 5、知道网站是B2B、B2C或者是B2G 6、方便性 7、处理速度快 8、客户服务 9、意见反馈 我个人意见是那么多.
哈巴河县13710403022： 求有关电子商务系统推荐技术的应用研究论文 - ？
玉卓枢绮： [摘 要] 随着电子商务的不断深入发展,电子商务推荐系统的应用更加广泛.文章主要介绍了目前应用较广的几种电子商务推荐系统中的推荐技术,并对这几种推荐技术存在的问题进行了分析. [关键词] 电子商务 推荐系统 推荐技术一、引言 ...
哈巴河县13710403022： 帮忙推荐几本一般系统论方面得经典书籍 - ？
玉卓枢绮： 建议看一下《线性系统理论》郑大钟编著,清华大学出版社,内容很全. 非线性系统看NonlinearSystems,第三版,电子工业出版社,美Hassan.Khalil著.该书有中文版,但是建议看英文原版,更地道也不是很难.
哈巴河县13710403022： 如何评价一个好的推荐系统算法 – 我爱机器学习 - ？
玉卓枢绮： 如何更好地掌握机器学习Colorado是伯克利大学的在读博士,同时也是Metacademy的创始人.Metacademy是一个优秀的开源平台,许多专业人员共同在这个平台上编写wiki文章.目前,这些文章主要围绕着机器学习和人工智能这两个主题.在...
哈巴河县13710403022： 推荐系统PM最主要的工作是哪几件事 - ？
玉卓枢绮： 一、驱动短视频推荐系统的5个核心方面1 内容:包括内容数量、内容特征标识;2 用户:包括用户量、用户固有关系链、用户固有属性;3 用户-内容连接通道:比如阅读、点赞、评论、负反馈等;4 沉淀期:引入外部画像、积淀自身画像;5 策...
哈巴河县13710403022： 如何做好数据分析的有效应用及竞品调研分析工作 - ？
玉卓枢绮： 如何做好APP的数据分析和运营? APP分析四维度 做好APP运营分析,首先我们要把握住四个维度,分别是渠道推广的全面、用户体验、商品(价格)、会员分析,这四个方面可以说囊括了APP分析的方方面面. 渠道推广方面:可以通过SEM...
哈巴河县13710403022： 阿里系统就是阿里巴巴集团旗下阿里云公司于2013年第三季度推出移...？
玉卓枢绮： 第一.anyview Anyview是手机上的电子阅读器.虽然市面上已有 Anyview阅读器现成的、比较成熟的电子书软件,然而由于其需要对每一本书本进行制作,因此就产生了Anyview. Anyview希望成为最好的手机阅读器,并且希望向使用该软件的用...
哈巴河县13710403022： 北朝贾思勰写的《齐民要术》是中国古代科技史上的重要文献.该文献主要介绍了() - ？
玉卓枢绮：[选项] A. 江南的手工业技术 B. 全国江河水道系统 C. 战国到五代的历史 D. 北方农业生产经验
