Reading Notes on Recommender System Papers

一些我阅读的 RecSys 的文章要点总结。

Recommender System Beyond Accuracy

• PURS: Personalized Unexpected Recommender System for Improving User Satisfaction:



• 用 item 和历史交互序列的 clusters 的加权距离来建模 unexpectedness, 和 relevance 联合优化来做 relevant & beyond-accuracy 的推荐

• Wisdom of Crowds and Fine-Grained Learning for Serendipity Recommendations:
• 提出了一个可扩展的利用用户评论和众包平台的 serendipity ground truth 数据收集方法，以及一个更好地利用这些数据的推荐模型。
• URCW(User Reviews plus Crowd Wisdom):
• 用一些和 serendipity 相关的关键词从 user reviews 语料库召回若干 user reviews
• 让众包工人帮忙鉴定这个 review 是否代表 serendipity 的经历（三个阶段：理解serendipity, 看一些例子，quality check questions）



• Self-Enhance Module: 对 serendipity 的要素 relevance 和 unexpectedness 分别建模最后融合。

LLM & traditional model hybrid methods

• LLMs for User Interest Exploration in Large-scale Recommendation Systems(Jianling Wang et.al. Deepmind):
• motivation: user interest exploration 对于提升用户体验不可或缺。只用传统的基于 id 的序列推荐小模型太注重 personalization，无法发掘新的用户偏好；直接用 LLM 效率太低，而且缺乏领域知识，无法做受控的生成和对齐领域用户偏好。结合 LLM 的全局知识和传统推荐模型的 personalization 能力来做既有 personalization 的能力又可以发掘新偏好的推荐。
• LLM 做高层次的预测：每个 item 都被归为某个 interest cluster，每个 interest cluster 关联若干自然语言描述，用 LLM 来根据过去的 K 个不重复的 interest cluster 预测下一个 novel cluster interest. (在文章中考虑效率问题，K = 2, interest 转移在 offline 的时候打表记下来，online 的时候直接查表，不需要调用 LLM) 让 LLM 具有做高层次预测需要让它能够做 controlled generation，以及对齐领域用户偏好，通过 SFT 来做。
• 传统推荐模型做低层次预测：传统推荐模型只在 LLM 推荐的 novel interest cluster 下的 item 中做推荐。
• 评估和 exlporation-oriented 以及 exploitation-oriented 的方法对比。

Recommendation LLMs

• Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5) (Shijie Geng et.al, Rutgers University)
• 用 personalized prompt template 把推荐任务的数据集转化为指令形式的自然语言数据集，用以进行预训练（仍然使用 language modeling）得到推荐语言大模型，然后将推荐任务都统一到自然语言处理中的 Pretraining, Prompt and Predict 的范式上。
• prompt template 参考其附录，主要的思想就是把很多推荐任务的数据集用模板转化为自然语言数据集，其中每个任务有几个不同的模板，对任务的子任务或者不同方面进行讨论。

• Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach （Junjie Zhang et.al., RUC）
• 通过将推荐任务统一到 instruction following 的形式上，使用指令微调的方式微调一个通用 LLM 来得到一个用于做推荐任务的 LLM。
• 设计了一个对于推荐的通用的指令模板，包含三个关键部分：preference(长期偏好), intention(目前偏好), task form(任务描述)。
• 对于一些难以获得的数据，用更弱的数据喂给 teacher LLM（比如 GPT-4）然后让他产生更强的数据，比如给他 interaction history 让他总结 explicit preference。

• PALR: Personalization Aware LLMs for Recommendation (Fan Yang et.al, Amazon)
• 用 multi-step 的办法来做推荐，先用一个推荐模型生成 candidate list，然后用一个微调的 LLM 来做 ranking.
• ranking 的时候先根据 interaction history 总结 user preference keywords，一起整合到提示模板里面。

• TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model with Recommendation (Keqin Bao et.al, USTC)
• 分两步走训练 instruction fine-tuned 的 LLM, 先用通用预料增强通用的 NLP 任务能力，再用推荐相关的指令数据集训练。