X 把推荐算法完整开源,带可跑的预训练 Phoenix 模型,这比任何论文都实在,做信息流产品的可以直接拉到本地研究。
X平台在GitHub开源了其“For You”信息流的最新推荐算法。该算法融合来自已关注账号的内容和通过相似性搜索发现的网络外内容,并利用基于Grok架构的Phoenix Transformer模型进行统一评分。模型通过分析用户近期互动,同时预测点赞、回复、转发等多种互动概率,并综合成最终相关性分数。排序过程包括候选内容收集、上下文信息补充、AI模型评分、多样性调整及垃圾信息过滤等步骤。此次开源提供了完整的可运行管道、预训练模型、内容理解服务及内置广告混合模块,核心计算完全由Transformer模型驱动。
新闻:𝕏 已在 GitHub 上发布了最新的推荐算法。
Grok 对新算法的总结:
这个系统决定了哪些帖子会出现在你的"为你推荐"信息流中。它融合了两种类型的内容,并使用一个强大的 AI 模型(与 Grok 背后的 Transformer 架构同源的一个版本)对所有内容进行排序。
工作原理
• 两个帖子来源:
• 网络内(Thunder):来自你已经关注的账号发布的帖子。
• 网络外(Phoenix Retrieval):系统通过跨数百万条帖子的智能相似度搜索,为你发现的新帖文。
• AI 大脑(Phoenix): 一个基于 Grok 的 Transformer 模型会查看你近期的行为(点赞、回复、转发、观看等),并预测你对每条帖子的互动概率。它不使用传统的手工规则——而是直接从真实用户行为中学习。
• 多动作预测: 它不仅仅是猜"你会喜欢这个",而是同时预测多个动作的概率:点赞、回复、转发、点击、观看视频、展开图片、关注作者、静音、屏蔽等。然后将这些概率合并为一个最终的相关性分数。
• 智能排序步骤:
- 从两个来源收集候选帖子。 2. 用额外的上下文信息进行丰富(作者信息、媒体类型、互动数据等)。 3. 运行 AI 模型为每条帖子打分。 4. 应用多样性(这样你就不会连续看到同一个人发的 10 条帖子)。 5. 过滤掉垃圾信息、被屏蔽/静音的账号、过时内容等。 6. 挑选出排名最高的帖子放入你的信息流。
本次开源发布的新内容
• 完整的端到端可运行管线——现在任何人都可以在本地测试检索 + 排序。 • 包含预训练的小型 Phoenix 模型(开箱即用)。 • 新的 Grox 内容理解服务(垃圾信息检测、帖子分类、策略检查)。 • 内置广告融合模块,带有品牌安全控制。 • 更丰富的用户与候选数据(主题、互关、展示历史、媒体检测等)。 • 几乎完全移除了手工设计的特征——Transformer 承担了主要工作。 • 完全开源(Apache 2.0 许可)。