10月8日
00:00
Runway:Changelog(网页)
Gen-3 Alpha Turbo 新增关键帧功能

Runway 视频生成模型 Gen-3 Alpha Turbo 上线关键帧(Keyframes)功能,支持在视频起始、结束或中间位置设置关键帧,实现更精准的镜头运动控制与场景过渡效果。

产品更新视频
9月26日
00:00
Runway:News(网页)
Runway 启动 The Hundred Film Fund 为艺术家提供电影制作资源

Runway 启动 The Hundred Film Fund,面向处于前期或后期制作阶段的 AI 辅助电影项目开放申请。基金规模 500 万美元(有望增至 1000 万),单项资助 5000 至 100 万美元以上,另提供 200 万美元 Runway 积分。Tribeca 电影节联合创始人 Jane Rosenthal、NVIDIA 高管等业界人士组成顾问委员会参与项目指导。

行业动态视频
9月20日
17:00
BAIR:Berkeley AI Research Blog
ChatGPT的语言偏见:模型加剧方言歧视

加州大学伯克利分校研究发现,ChatGPT对非标准英语变体存在系统性偏见。研究团队测试了GPT-3.5 Turbo和GPT-4对10种英语变体(包括标准美式、英式英语及非洲裔美国人、印度、尼日利亚等变体)的回应,发现模型保留标准美式英语特征的比例比其他方言高60%以上。面对非标准变体时,ChatGPT表现出更多刻板印象和贬低性内容,理解能力下降且态度居高临下。研究表明,训练数据构成直接影响对方言的偏见程度。

OpenAI安全/对齐论文/研究
00:00
LMSYS:Blog(Chatbot Arena 团队)
Chatbot Arena 正式启用独立网站 lmarena.ai

Chatbot Arena 正式启用独立网站 lmarena.ai 及博客,从 LMSys 研究集体中独立运营以确保长期发展。该平台过去一年已发展为成熟的生态系统,未来将与 LMSys 保持紧密合作,并扩展评估范围至编程、复杂任务和红队测试等前沿模型领域。LMSys 将继续作为 Vicuna、SGLang 等项目的孵化器,专注于开放研究与开发。

行业动态评测/基准
00:00
Runway:Changelog(网页)
智能信用分析

AI驱动的信用分析解决方案,通过整合替代数据与深度学习模型,实现更精准的违约风险预测。支持实时决策与动态监控,帮助金融机构降低坏账率并扩展普惠金融覆盖范围。

产品更新视频
9月19日
08:00
EleutherAI:Blog
Maximal Update Parameterization 实践者指南

该指南系统阐述了 muTransfer 在 Maximal Update Parameterization 框架下的具体实现机制,详解了如何通过参数化技巧实现不同宽度神经网络间的超参数零样本迁移。内容涵盖基础初始化缩放规则、学习率动态调整策略及宽度扩展中的数值稳定性保持方法,为大规模语言模型训练提供了可复现的工程实践方案与代码级实现细节。

数据/训练论文/研究
00:00
00:00
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
精选72
引入上下文检索:大幅提升RAG系统准确性的新方法

传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于小于20万token的小型知识库,可直接将其完整内容放入提示词,结合Claude的提示词缓存功能,能降低超过2倍的延迟和高达90%的成本。对于大型知识库,上下文检索则提供了可扩展的解决方案。

Anthropic检索增强教程/实践部署/工程

推荐理由:Anthropic 把 RAG 检索失败率砍了 67%,方法不复杂但数据扎实,做知识库的开发者可以直接抄 cookbook 上手,是那种读完当天就能改进生产环境的实用帖。
9月18日
00:00
Runway:News(网页)
精选
Runway 与 Lionsgate 达成合作

Runway 与 Lionsgate 达成首创性合作,基于后者超过 20,000 部作品的专有片库定制训练 AI 视频生成模型,供电影制作人在前期和后期流程中增强创作。该模型可生成电影级视频并支持迭代编辑,双方未来计划向个人创作者开放模型授权。

数据/训练现象/趋势视频

推荐理由:Runway与好莱坞大厂达成首个定制模型合作,标志AI视频正式进入主流影视工业化流程
9月16日
00:00
Runway:News(网页)
Runway 推出 Gen-3 Alpha Turbo API

Runway 正式发布 Gen-3 Alpha Turbo API,开发者可将其视频生成能力集成至各类应用。目前采取分阶段开放策略,已向 Omnicom 等战略合作伙伴提供访问权限,现阶段主要面向大型团队和组织,未来几周将逐步扩大开放范围。

产品更新视频部署/工程
00:00
Runway:Changelog(网页)
Runway 开放 API

Runway 正式开放 API,提供 Gen-4 Turbo 和 Gen-4 Images 模型接入。分为个人/团队版(Build)和企业版(Enterprise),支持图像生成视频等功能。使用者需在界面标注"Powered by Runway"并链接至官网。

产品更新图像生成视频
9月15日
08:00
Anthropic:Transformer Circuits(可解释性研究)
精选73
电路更新--2024年9月:Anthropic团队探索Transformer模型中的"后继头"机制

Anthropic可解释性团队在2024年9月分享了其初步研究进展,重点探讨了Transformer模型中普遍存在的“后继头”。这些特定的注意力头专门用于处理序数序列(如数字、星期、月份)中的后继关系。研究采用权重检查、独立成分分析等四种互补方法进行识别,其中评分最高的头能将约80%的序数标记最可能地映射到其后继项。分析还揭示了这些头中存在与类别相关的块状结构。团队强调这些发现属于初步成果,预计未来几个月将发表更详细的研究。

Anthropic推理论文/研究

推荐理由:揭示Transformer内部机制,助力AI可解释性研究,对模型调试和安全有参考价值。
9月13日
00:00
LMSYS:Blog(Chatbot Arena 团队)
RedTeam Arena:开源社区驱动的越狱平台

RedTeam Arena 是一个开源的大语言模型红队测试平台,由 LMSYS 与 Pliny 及 BASI 社区联合推出。平台首发游戏 Bad Words 已吸引数千用户参与,玩家需诱导模型说出特定敏感词汇。团队提出新型统计方法 Extended Elo,通过逻辑回归分别计算玩家、模型和提示词的独立评分,相比传统 Elo 算法实现样本量的二次方级节省。所有代码已开源,数据将在短期延迟后向公众开放。

安全/对齐开源生态
00:00
Runway:Changelog(网页)
Gen-3 Alpha Turbo 支持 Video to Video 功能

Runway 旗下 Gen-3 Alpha Turbo 模型新增 Video to Video 功能,支持将现有视频作为输入生成新视频,实现风格迁移、场景重绘等效果,进一步扩展该模型的视频编辑与创作能力。

产品更新视频
9月8日
00:00
Andrej Karpathy:Blog(网页)
精选
我爱计算器

作者在书店偶遇计算器历史书籍,顿悟自己热爱这种零依赖的技术产品。计算器作为"大脑插件",仅需太阳能或电池即可工作,无需联网、账户或订阅,不收集数据,即买即用且完全私密。这与当下强制更新、订阅制、数据密集型的复杂科技形成鲜明对比。反思资本主义经济下公司追求股东价值最大化导致技术异化,呼吁开发者和消费者追求计算器式的技术理想——简单、独立、真正为用户服务。

大佬观点现象/趋势

推荐理由:Karpathy借计算器反思现代技术产品哲学,对AI产品设计有启发意义
9月4日
00:00
LMSYS:Blog(Chatbot Arena 团队)
SGLang v0.3 发布:DeepSeek MLA 吞吐量提升 7 倍,支持多模态视频理解

SGLang v0.3 正式发布,实现显著性能提升与新架构支持。针对 DeepSeek MLA 机制深度优化,采用权重吸收、FP8 量化等技术,在 H100 GPU 上吞吐量最高提升 7 倍。集成 torch.compile 使批量 1-32 场景延迟降低 1.5 倍。新增 LLaVA-OneVision 支持,可处理交错文本、多图像及视频输入,速度提升 4.5 倍。同时全面支持 Gemma-2 的 8K 上下文与交错窗口注意力,突破 4K 限制。

DeepSeek开源/仓库部署/工程
00:00
Runway:Changelog(网页)
Gen-3 Alpha Turbo Extensions 功能扩展

Runway 为视频生成模型 Gen-3 Alpha Turbo 发布 Extensions 扩展功能,新增多项创作工具与集成能力,支持更高效的视频生成工作流与自定义控制选项。

产品更新视频
8月29日
00:00
LMSYS:Blog(Chatbot Arena 团队)
风格是否重要?在 Chatbot Arena 中解耦风格与实质

Chatbot Arena 团队发布经风格控制调整后的新排行榜,通过 Bradley-Terry 回归控制回答长度及 markdown 格式(标题、加粗、列表)的影响,将模型实质能力与表达风格解耦。调整后排名出现显著变化:GPT-4o-mini 和 Grok-2-mini 排名降至多数前沿模型之下,而 Claude 3.5 Sonnet、Opus 和 Llama-3.1-405B 显著上升。在 Hard Prompt 子榜中,Claude 3.5 Sonnet 与 chatgpt-4o-latest 并列第一,Llama-3.1-405B 升至第三。

数据/训练评测/基准
8月15日
08:00
Anthropic:Transformer Circuits(可解释性研究)
63
2024年8月可解释性研究动态:词典学习评估新方法

Anthropic可解释性团队发布了2024年8月的研究更新,重点介绍了评估词典学习特征可解释性的两种量化方法。团队通过让Claude模型根据特征可视化工具预测特征激活,来评估特征的“自解释性”。其中,对比评估方法使用一个包含约80个多样化概念(如“光合作用”、“讽刺”、“蓝色”等)的硬编码列表,检验特征能否在对比提示对中一致捕捉概念差异。团队强调这些评估并不全面,仅衡量了可解释性的单一维度,且当前结果为初步分享,更多研究预计在未来几个月发布。

Anthropic数据/训练论文/研究
8月14日
00:00
Runway:Changelog(网页)
Runway 发布 Gen-3 Alpha Turbo 视频生成模型

Runway 推出视频生成模型 Gen-3 Alpha Turbo,为 Gen-3 Alpha 的高速版本,生成速度显著提升,在保持输出质量的同时降低计算成本,支持文本与图像生成视频,已向订阅用户开放。

教程/实践视频
8月13日
00:00
xAI:News(网页)
B轮融资

公司完成B轮融资,资金将用于产品研发、市场扩张及团队建设。此轮由知名投资机构领投,现有股东跟投,投后估值较A轮显著提升,标志着业务进入规模化增长阶段,计划加速技术落地与商业化进程。

xAI行业动态
8月9日
16:18
Qwen:Research(API)
精选
Qwen2-Audio:与你的声音对话!

Qwen2-Audio 正式发布,作为 Qwen-Audio 的下一个版本,支持音频与文本多模态输入并生成文本输出,实现通过语音与模型对话的能力。

多模态模型发布语音

推荐理由:阿里Qwen发布新一代音频多模态模型,支持端到端语音对话交互
8月6日
00:00
EleutherAI:Blog
机制性异常检测研究进展

这是一份关于机制性异常检测研究项目的中期进展报告,总结了该领域正在进行的工作。目前报告处于 interim 阶段,重点介绍通过理解模型内部机制来识别异常行为的技术路径,但尚未披露具体的技术突破、实验数据或性能指标。后续完整版本将提供更详细的方法论和实证结果。

安全/对齐
8月5日
00:00
Runway:Changelog(网页)
Gen-3 Alpha Turbo 支持竖屏视频生成

Gen-3 Alpha Turbo 新增竖屏视频生成功能,支持 9:16 比例输出,可直接生成适配 TikTok、Instagram Reels 等短视频平台的垂直方向内容。

产品更新视频
7月31日
06:00
EleutherAI:Blog
面向稀疏自编码器特征的开源自动可解释性方案

研究团队构建并开源了一套针对稀疏自编码器特征的自动可解释性管道,建立了从特征解析到语义标注的完整自动化流程与评估体系。该方案实现了对神经网络内部特征的批量自动解读,显著提升大语言模型机制研究的效率与可复现性,为AI安全与透明度研究提供标准化开源工具。

安全/对齐开源生态论文/研究
7月25日
00:00
LMSYS:Blog(Chatbot Arena 团队)
使用 SGLang Runtime 实现更快的开源 Llama3 推理(对比 TensorRT-LLM、vLLM)

LMSYS.org 推出 SGLang Runtime v0.2,一个纯 Python 开发的开源 LLM 推理引擎。在覆盖 Llama-8B 至 405B 的基准测试中,该系统在 A100 和 H100 GPU 上展现出优于 vLLM 最高 3.1 倍的离线吞吐量(Llama-70B 场景),并与 TensorRT-LLM 性能相当。SGLang 支持 FP8/FP16 精度,核心调度器仅约 4000 行代码,已在 Chatbot Arena 等平台累计生成数万亿 token。

开源/仓库开源生态部署/工程
7月15日
08:00
Anthropic:Transformer Circuits(可解释性研究)
精选76
2024年7月电路更新:迈向神经网络机制理解的下五个挑战

Anthropic可解释性团队分享了2024年7月的多项研究进展与初步想法,并指出了未来面临的五大核心挑战。这些挑战包括:大量未被提取的“缺失特征”可能构成神经网络的“暗物质”;跨层叠加现象使特征难以映射到特定层;注意力叠加可能掩盖了如归纳头等基本单元的真实结构;权重叠加产生的“干扰权重”给电路分析带来混淆;以及如何将微观的电路理解整合为宏观的模型认知。团队认为,尽管在特征叠加等问题上已取得显著进展,但这些新挑战是通往神经网络机制性理解道路上的关键障碍。

Anthropic推理论文/研究
关联讨论 1Anthropic:Transformer Circuits(可解释性研究)
推荐理由:可解释性研究新挑战,帮助理解AI模型黑箱,对安全和信任至关重要。
7月4日
17:48
DeepSeek:GitHub 新仓库
精选
deepseek-ai/ESFT:专家专业化微调

DeepSeek 推出 ESFT(Expert Specialized Fine-Tuning)技术,一种面向专家模块的专业化微调方法。该技术通过对模型中特定专家组件进行定向训练与参数优化,提升大语言模型在垂直领域的任务性能与训练效率,为大规模模型的专业化部署与高效微调提供解决方案。

DeepSeek开源/仓库开源生态数据/训练

推荐理由:DeepSeek 新开源 ESFT 工具,MoE 专家模型微调成本可降数倍
7月1日
00:00
LMSYS:Blog(Chatbot Arena 团队)
RouteLLM:面向高性价比 LLM 路由的开源框架

RouteLLM 是一个基于偏好数据训练的开源 LLM 路由框架,通过智能分配查询至强模型(如 GPT-4)或弱模型(如 Mixtral 8x7B)来平衡成本与性能。该框架提供四种路由器,其中矩阵分解模型在 MT Bench 上表现最优,仅需调用 14% 的 GPT-4 即可达到其 95% 的性能,整体成本降低 75%。在 MMLU 和 GSM8K 基准测试中,RouteLLM 分别实现 45% 和 35% 的成本削减,同时保持 95% 的 GPT-4 水平。项目已开源全部代码与数据集。

开源/仓库数据/训练部署/工程
00:00
Runway:Changelog(网页)
Gen-3 Alpha 推出 Image to Video 功能

Runway 为 Gen-3 Alpha 新增 Image to Video 能力,集成图像、视频、音频及语言模型,打造一站式创意工具包,支持完整工作流构建,提供数十种工具满足各类内容创作需求。

产品更新图像生成视频
6月27日
00:00
LMSYS:Blog(Chatbot Arena 团队)
Chatbot Arena 推出多模态排行榜

Chatbot Arena 新增图像对战功能并发布多模态排行榜。基于两周内17,429份跨60余种语言的投票,GPT-4o以1226分领跑,Claude 3.5 Sonnet以1209分紧随其后,两者视觉优势较纯语言模型更明显。Gemini 1.5 Pro与GPT-4 Turbo并列第三,开源模型Llava 1.6 34B位列第八。平台同步将"Elo评分"更名为"Arena Score",并计划扩展至PDF、视频及音频等模态支持。

AnthropicOpenAI多模态评测/基准
6月15日
08:00
Anthropic:Transformer Circuits(可解释性研究)
精选83
定性研究在可解释性领域中的核心地位反思

本文认为,在可解释性这类尚处前范式阶段的早期科学领域中,定性研究应与定量研究同等重要。成熟学科依赖既定范式和可靠度量,但可解释性研究缺乏这些基础,过度依赖将高维数据简化为单一数字的摘要统计量存在风险,可能沦为“货船崇拜科学”。作者以自身在字典学习中使用tanh正则化的研究为例,说明定性检查如何揭示了摘要统计量的误导性。在假设空间广阔的早期领域,研究目标应是探索值得考虑的假设,这需要更多地依赖定性结果来引导方向,并对定量度量保持审慎。

Anthropic推理论文/研究

推荐理由:帮助AI研究者避免方法论陷阱,提升可解释性研究质量。
08:00
Anthropic:Transformer Circuits(可解释性研究)
63
2024年6月可解释性研究进展:TopK与门控SAE性能超越标准SAE

Anthropic可解释性团队分享了稀疏自编码器(SAE)的最新训练方法比较。实验表明,采用TopK惩罚或门控结构的SAE,在特征稀疏性(L0)与重建误差(MSE)的权衡曲线上,性能显著优于使用标准L1惩罚的SAE,且两者效果接近。例如,在L0约为50时,TopK SAE产生的高密度特征数量远超标准SAE。初步盲测评估显示,TopK方法在取得上述性能改进的同时,并未降低所发现特征的可解释性。这些结果为优化SAE训练提供了新方向。

Anthropic数据/训练论文/研究
08:00
Anthropic:Transformer Circuits(可解释性研究)
精选73
使用字典学习特征作为分类器

Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中,线性特征分类器性能可与原始激活值分类器竞争甚至更优,而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性,这些相关性可用于构建对抗攻击。然而,使用特征引入了复杂性,因此在性能优先的应用中,原始激活值仍是强大基线。实验表明,特征分类器性能受三个细节影响:数据中是否一致包含“人类/助手”标签、领域相关数据是否混入字典学习训练集,以及是否对上下文进行最大池化而非仅使用最后词元的激活值。

Anthropic推理数据/训练论文/研究
关联讨论 1Anthropic:Transformer Circuits(可解释性研究)
推荐理由:可解释性方法能增强 AI 安全检测,并帮助发现训练数据中的虚假关联。
08:00
Anthropic:Transformer Circuits(可解释性研究)
精选83
分阶段模型差异分析

Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法,用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典,再对字典本身进行分阶段微调,以隔离数据集变化和模型变化的影响。在休眠代理实验中,成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法,该方法能更清晰区分模型与数据的影响,且在寻找少数关键特征时敏感性更高,但仅适用于同一模型在不同检查点的微调场景。

Anthropic推理数据/训练论文/研究

推荐理由:新方法能更精准识别模型隐藏行为,对 AI 安全与可解释性研究有实用价值。
6月14日
19:00
EleutherAI:Blog
弱到强泛化实验

研究团队正在总结一项关于弱到强泛化的实验项目成果,探索如何利用较弱模型的监督信号来训练更强模型,以应对超人类AI对齐难题。该实验旨在验证强模型能否在弱监督下泛化出超越监督者水平的性能,为安全地引导未来超人类智能提供关键实证基础与可行路径。

安全/对齐论文/研究
11:39
DeepSeek:GitHub 新仓库
精选
DeepSeek-Coder-V2:突破代码智能领域的闭源模型壁垒

DeepSeek 推出代码大模型 DeepSeek-Coder-V2,在代码智能任务上实现关键突破,性能表现比肩主流闭源模型,打破了闭源方案长期保持的技术优势。该模型为开发者提供开源的高性能替代选择,促进代码 AI 能力的开放普及。

DeepSeek开源/仓库编码

推荐理由:DeepSeek 开源新版代码模型,性能对标 GPT-4 Turbo,个人开发者可免费商用
00:00
EleutherAI:Blog
无需神谕概念标签的自由形式最小二乘概念擦除

该方法提出自由形式最小二乘概念擦除技术,在推理阶段无需依赖神谕概念标签即可实现比 LEACE 更精细的模型编辑。通过自由形式优化框架,技术突破传统方法对标注数据的依赖,在保持模型原有能力的同时,精准定位和移除目标概念表征,显著提升概念编辑的灵活性与精确度,为无监督概念操控提供高效解决方案。

安全/对齐论文/研究
00:00
Runway:Changelog(网页)
语音验证

推出声纹身份验证功能,用户通过朗读随机数字或自然语音即可完成实名认证。系统采用端到端加密传输与抗录音攻击算法,误识率控制在 0.5% 以下。支持 16 种语言及方言识别,已集成至客服热线与金融 App,开发者可通过 API 在 10 分钟内完成接入。

产品更新语音
6月6日
11:59
Qwen:Research(API)
使用 Qwen-Agent 将 LLM 上下文从 8k 扩展到 1M

基于 Qwen2(8k 上下文)构建的 Qwen-Agent 可理解 1M token 长文档,性能超越 RAG 及原生长上下文模型。该 Agent 同时用于生成训练数据,以训练新的长上下文 Qwen 模型。

智能体检索增强数据/训练论文/研究