1. 首页 > 百货 > 家电数码

文本为王 如何在序列推荐过程中学习语言向量

推荐系统是 1992 年施乐公司的 David Goldberg 在论文中首次提出的。人类历史上第一个发表的推荐系统算法是协同过滤。该算法长期占据着主导地位。一直到最近,仍然有研究者发问称对比了大量的推荐算法,发现基于物品的协同过滤性能优异,吊打其他算法。

随着时间的推移,出现了越来越多的推荐系统算法。1998年,亚马逊公司的员工发明了基于物品的推荐系统。随后在 2006 年,因为 Netflix 推荐系统大赛的缘故,基于矩阵分解的推荐系统被发明出来。随后在 2010 年左右,线性模型和排序学习算法风靡一时。从 2016 年开始,基于深度学习的推荐算法后来居上,一举占据了包括 RecSys 在内的各大学术会议的显要位置,给推荐系统领域带来了一场彻底的革命。

2017 年开始,人工智能领域的研究者开始广泛关注人工智能伦理问题。随后,推荐系统的具体场景落地问题得到了关注,尤其是序列化推荐,成为了热门研究课题。本文将带领读者阅读数据挖掘顶级会议 ACM KDD 2023 年的论文 Text Is All You Need: Learning Language Representations for Sequential Recommendation。论文的作者来自美国高校 UCSD 和美国公司亚马逊。

图一输入数据中用户信息

图一中显示了这篇文章中的算法利用的输入数据与其他算法的不同:物品不再是由物品 ID 唯一表示的数字,而是一个键值对构成的数据集合。例如,一台苹果笔记本电脑,不再由一个数字 315 表示,而是由产品名称、品牌名称和颜色代表的数据集合表示。

在作者设计的算法架构中,共有 4 个嵌入层:

算法架构在 4 个嵌入层求和之后加入了一个 Layer Normalization 层:

随后我们得到嵌入层的终极表示方法:

我们随后利用双向 Transformer 结构 Longformer 对嵌入层编码,得到物品的嵌入式向量表示:

给定序列 S,序列中下一个出现的物品为物品 i 的评分由下述公式计算:

预测出现的物品 i 为使上面公式得分值最高的物品:

为了让算法效率更高,作者提出了预训练模型+两阶段微调算法来实现算法架构:

为了使上面的算法执行速度更加高效,研究者提出了利用预训练模型来实现上述算法结构。第一种预训练模式是 MLM,也就是 Masked Language Modeling 。MLM 的算法架构流程如下:

另一种预训练模式是 item-item contrative (IIC)。这种预训练模式的损失函数定义如下:

在算法的实际执行中,我们采用了加权和的形式:

最后,我们对算法做两阶段微调。算法的伪代码如下:

作者最后在论文中针对该算法做了对比实验:

通过实验,我们发现作者在论文中提出的算法性能优越。

推荐系统自诞生以来,算法架构变得越来越复杂。随着大模型的兴起,如何利用大模型进行推荐也成为了研究的热点。如果有一天大模型被证明能使推荐的效果明显好于其他方法,推荐系统的研发将被集中在极少数有能力提供数据和大规模 GPU 集群的公司。因此,趁着这一切还没有发生,广大中小企业,还有高校师生,以及独立研究者应该抓紧时间为这一领域增砖添瓦。

汪昊,达评奇智董事长兼创始人。汪先生在 ThoughtWorks、豆瓣、百度、联想和趣加等公司有超过 13 年的研发和管理经验。擅长推荐系统、风控反欺诈、爬虫和自然语言处理等技术。成功上线了包括豆瓣小组推荐、联想电商推荐和网易段子项目等 10 余款科技产品。在国际学术会议和期刊发表论文 44 篇。获得 IEEE SMI 2008 (CCF-C) 最佳论文奖,ICBDT 2020、IEEE ICISCAE 2021、AIBT 2023 和 ICSIM 2024 最佳论文报告奖。

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://jmbhsh.com/jiadianshuma/31666.html

联系我们

QQ号:***

微信号:***

工作日:9:30-18:30,节假日休息