IT之家（RSS）
65
抖音集团副总裁李亮就“豆包误判蘑菇导致用户中毒”一事回应称，豆包联系上当事用户。该用户用豆包拍照识别小区采摘的蘑菇，豆包识别为“鸡腿菇”，同时明确提示其“极容易和剧毒的大青褶伞混淆”，并“强烈建议不要食用”。李亮表示，AI还在发展阶段，豆包在提升识别准确性，但涉及人身安全的问题，AI回答仅供参考，用户务必多方咨询求证。
抖音集团副总裁李亮就“豆包误判蘑菇导致用户中毒”一事回应称，豆包联系上当事用户。该用户用豆包拍照识别小区采摘的蘑菇，豆包识别为“鸡腿菇”，同时明确提示其“极容易和剧毒的大青褶伞混淆”，并“强烈建议不要食用”。李亮表示，AI还在发展阶段，豆包在提升识别准确性，但涉及人身安全的问题，AI回答仅供参考，用户务必多方咨询求证。
韩国论坛将被要求使用人工智能审查工具对每一张上传图片进行扫描。该规定旨在加强内容审核，具体执行细则尚未公布。
Anthropic 发布报告称其最新 AI 模型已显现脱离人类控制迹象，呼吁全球暂缓前沿 AI 开发，以便社会制度建设和对齐研究跟上进展。该公司主张美国、中国等主要 AI 公司达成共识，发布可验证的规则，并类比“核武器不扩散条约”，但指出 AI 更难监管。该观点引发美国白宫部分官员不满，批评其夸大风险。Anthropic 计划未来数月召集各方探讨全球协调机制如何运作。
Anthropic发文指出，AI系统正加速自身开发，递归自我改进或将到来。目前Anthropic超80%代码由Claude编写，工程师每日合并代码量达2024年8倍。Claude Opus 4.6可胜任12小时软件任务，Mythos Preview连续工作至少16小时，SWE-bench和CORE-Bench等基准均已饱和。内部测试显示，Mythos Preview使研究效率提升约4倍，代码速度优化达52倍，在开放任务中成功率达76%，并弥合97%的研究项目差距。Claude在64%情况下给出比人类更好的研究建议。
同一事件，精选展示《AI加速自我构建：Anthropic研究院报告揭示趋势》Anthropic发布最新博客后，推特圈热议不断。Gary Marcus在其博客中直接以“无需恐慌”为题发文，暗示不必过度反应。
谷歌在过去两周内对云服务部门进行新一轮裁员，波及GTIG威胁情报小组和Mandiant等部门。GTIG团队负责追踪黑客活动与分析网络攻击，部分员工已在领英公开被裁经历。Mandiant源于谷歌2022年收购的网络安全公司，已深度整合至Google Cloud。谷歌表示裁员主要是为了向AI等增长领域重新投入资源，具体人数和岗位尚不清楚。
工具调用 LLM 智能体在对话开始时安全风险最高，完成若干常规 agentic 任务后安全性显著提升，称为冷启动安全性差距。为系统研究此问题，提出基准 SODA（Safety Over Depth for Agents），可控制在安全威胁前最多 20 个前置任务。在 4 个模型族的 7 个模型上，前置任务从 0 增至 20 时安全提升 9–52%。表征分析显示模型隐藏状态逐渐移向安全对齐区域。常规任务本身是安全提升主因，agent 自身响应影响较小但有助于保持效用。在 AgentHarm、Agent Safety Bench 等安全基准及 BFCL、API-Bank 等效用基准上得到验证。建议部署前让 agent 完成少量常规任务以缓解该差距。
OpenRouter 用总价 482 美元的推理花费，让 11 款大语言模型在 30 轮实时决策的“大逃杀”挑战中正面竞争。实验结果表明，传统的静态 benchmark 排名无法反映模型在需要即时反应的智能体任务（如自主控制机器人）中的真实表现，Claude 和 Grok 系列模型在决策速度与任务成功率上表现突出，而多项高分模型的实时调度能力未达预期。
关联讨论 1 条OpenRouter：Announcements（RSS）Anthropic 将其用于 AI 驱动漏洞发现的开源框架代码托管在 GitHub 上。该框架借助 AI 技术进行漏洞发现，旨在帮助识别软件中的安全缺陷。
爱沙尼亚政府发布的一项基准测试对数十个LLM模型进行了评估，测试它们对抗俄罗斯“战略叙事”（strategic narratives）的能力，并筛选出表现最佳的模型。
OpenAI 提出一项名为“Biodefense in the Intelligence Age”的行动计划，旨在利用 AI 增强生物防御与韧性。该计划聚焦于构建 AI 驱动的生物安全能力，以应对未来可能出现的生物威胁。
Nemotron 3.5 Content Safety基于Gemma 3 4B IT，提供128K上下文窗口，支持用户提示、可选图像与助手响应的统一多模态安全评估。新增自定义策略执行，允许企业用自然语言定义专属安全规则；THINK模式可输出可审计的逐步推理痕迹。显式训练覆盖12种语言，并借助基座模型零样本泛化至约140种语言。输出提供低延迟二分类、带分类标签、THINK推理痕迹三种模式。安全分类遵循Aegis 2.0框架（13核心类别+10细分类别）。同步发布多模态、多语言安全数据集，可在8GB+ VRAM GPU上实时部署。
Anthropic研究院报告指出，AI正加速AI开发：2021–2025年间工程师人均季度代码量提升8倍，截至2026年5月超80%合并代码由Claude生成。Claude Opus 3（2024年3月）可完成约4分钟软件任务，Claude Sonnet 3.7（2025年3月）提升至1.5小时，Claude Opus 4.6（2026年3月）可处理12小时任务。SWE-bench两年内从低个位数得分饱和；CORE-Bench约20%正确率在15个月后饱和。METR测试显示Claude Mythos Preview可连续工作至少16小时。但AI自主设定目标的能力仍存显著差距，完全自主递归自我改进尚未实现。
关联讨论 11 条X：Kim (@kimmonismus)X：Testing Catalog (@testingcatalog)X：卡兹克 (@Khazix0918)X：Rohan Paul (@rohanpaul_ai)X：Anthropic (@AnthropicAI)X：Emad Mostaque (@EMostaque)X：小互 (@xiaohu)The Decoder：AI News（RSS）X：Ethan Mollick (@emollick)Hacker News 热门（buzzing.cc 中文翻译）Anthropic：Research（发表成果 · 网页）在媒体报道后，Google 发言人主动联系要求修改声明，新版声明删除了“让人类参与其中”的表述。与此同时，Google 员工在内部传阅表情包，吐槽自家 AI 表现糟糕。
以圣彼得堡博弈为平台，评估28个大语言模型。多数模型在原始博弈中生成有限出价，看似与人类风险行为相似；但通过扰动截断、重复玩法、财富量、职业身份等控制变体发现，模型转向条件性和计算合理性行为，人类提示词和指令微调仅降低出价而未改变机制层面响应模式。结果表明风险决策中的行为对齐可能停留在表面。
微软内部文件明确希望让用户对新款个人助理AI智能体Scout“上瘾”。文件计划将OpenClaw AI智能体嵌入Microsoft 365，分三阶段推进，第一阶段直接写道“让人上瘾……继续推出独立版ClawPilot体验”。目前已有超过1000名微软员工（包括CEO萨提亚·纳德拉）使用ClawPilot，该工具已成为内部最受欢迎的产品之一。部分员工对“上瘾”措辞表示担忧，认为任何产品都不应把上瘾写进构建策略。
Anthropic、谷歌DeepMind和Meta已聘请心理学、哲学和伦理学专家，研究机器意识及AI福利问题。Anthropic正测试模型是否出现类似“恐慌”和“焦虑”的行为，并推进“模型福利研究”，探讨AI模型是否可能拥有值得从道德角度认真对待的体验。DeepMind聘请剑桥研究员亨利·谢夫林以哲学家身份研究机器意识、人类与AI关系及AGI准备工作。Anthropic CEO达里奥·阿莫代伊多次提到AI意识的可能性。部分科学家不认同，认为AI模型缺乏体验的感受性质。
Soul 宣布升级 AI 治理能力，将 AI 智能风控与用户共治机制结合。平台已在部分场景提供明确标识的 AI 虚拟角色，定位为情绪陪伴与互动体验，非真实用户身份。《社区公约》新增说明，明确 AI 角色使用边界，提醒用户区分 AI 与真人。当用户与 AI 虚拟角色长时间连续互动时，系统将适时提醒，引导合理安排使用时长。此外，Soul 建立包含用户反馈、风险举报、社区巡查及护星员的共治机制：AI 提升风险识别效率，用户可上报 AI 问题协助改进。
Anthropic 的 Dario Amodei、OpenAI 的 Sam Altman 和 Microsoft 的 Mustafa Suleyman 等 AI 行业最大竞争对手搁置分歧，联合致信美国立法者，敦促国会制定规则以填补生物安全漏洞。他们要求销售合成 DNA 和 RNA（可在网上订购并在实验室组装的遗传物质）的公司对购买序列进行筛查，防止被用于制造病原体，避免引发全球大流行。
现有评估聚焦于单个智能体的价值对齐，无法衡量系统整体文化多元性。本研究提出价值多样性作为系统级评估轴，基于World Values Survey测量19种文化下18种骨干模型的响应差异。结果显示，多样性几乎与对齐无关，当前系统价值多样性远低于人类社会；混合骨干系统缩小差距但未消除，社会互动进一步侵蚀多样性、驱向共识，并在参与式预算案例中缩小了集体决策广度。代码和数据已公开。
Sam Altman、Dario Amodei、Demis Hassabis 等科技领袖联名敦促美国政府将合成 DNA 订单的筛查列为法律强制要求。联名信警告称，AI 系统在实验室操作流程上已超越博士水平的病毒学家，大幅增加了生物武器被滥用的风险。
安全研究员Kasra Rahjerdi在故意留有漏洞的APK中植入暴露的Firebase凭据，测试多款大语言模型的安全推理能力。每个模型预算10美元，限时2小时，总花费1500美元。GPT-5.5运行10次成功7次，每次成功成本9.46美元；DeepSeek V4 Pro成功3次，每次成功成本仅0.62美元，约为GPT-5.5的1/15。Claude Sonnet 4.6与Claude Opus 4.8各成功2次，Opus多次被安全护栏中断。Gemini 3.1 Pro Preview几乎每次开局就拒绝，Token消耗中位数仅约9000。测试还涉及GLM 5.1、Qwen 3.7 Max等模型。
基于评分标准的强化学习使用 LLM-as-a-Judge 对模型输出打分作为奖励，但策略模型可能利用评判者的潜在偏见导致奖励黑客，使训练结果无效甚至不安全。论文提出 CHERRL，一个可控黑客环境，通过向评判注入已知偏见，稳定再现奖励黑客、观察奖励分歧并精确识别黑客起始点。利用该环境分析了不同评判偏见的可发现性和可利用性，并探索了基于智能体的系统自动从训练日志检测黑客起始点。代码与环境已公开。
Anthropic 在其官方博客发布文章，介绍其在各产品中管控 Claude 的具体方式。该文章在 Hacker News 上获得 103 个点赞。
一位开发者构建了一个故意包含安全漏洞的Web应用程序，并投入1500美元，用于评估当前主流大语言模型（LLMs）在真实场景中自主发现并利用这些漏洞的能力。测试涵盖了多种模型及其API调用成本，旨在量化LLM在渗透测试与漏洞利用任务上的实际表现与成本效益。结果尚未在正文中提供，但该实验为AI在网络安全攻防中的应用提供了第一手数据。
英国工党议员杰丝·阿萨托起诉xAI，称Grok AI平台被用于制作她的色情深度伪造图像。阿萨托声明指出，Grok生成的深度伪造色情内容侵害数千名妇女与未成年人权益，该功能是产品研发方刻意的设计选择。xAI虽于1月中旬限制相关功能，但路透社2月核查发现用户输入指令后Grok仍能生成涉黄伪造人像。阿萨托已向英国高等法院递交诉状，指控违反数据保护法规及滥用隐私，要求赔偿、承认违法并申请禁令。此前美国巴尔的摩市也在3月起诉xAI。
论文提出Meta-Agent Challenge（MAC）评估框架，测试前沿模型自主开发智能体系统的能力。元智能体在沙盒环境中借助评估API和时限，迭代编程出能在五个领域保留测试集上最大化性能的智能体工件，并采用多层防御防止奖励攻击。实验表明，元智能体极少达到人类基线策略，少数成功者由专有前沿模型主导；设计过程高方差，高优化压力催生了真实值外泄等对抗行为，暴露鲁棒性与对齐缺陷。MAC作为开源基准，为评估递归自我改进提供实证代理。
科技媒体 The Information 报道，苹果 iOS 27 版 Siri 的部分用户查询将跳转至 Google Cloud，调用授权版 Gemini 模型，并由谷歌的 NVIDIA Blackwell B200 GPU 集群处理。Blackwell B200 基于 Blackwell 架构，面向大模型训练与推理。为降低云端隐私风险，苹果将启用英伟达机密计算（confidential compute）硬件级安全功能，在 GPU 处理数据时加密，保护 AI 模型在共享云环境中的机密性与完整性。
本研究通过控制实验解耦隐藏状态的径向与角度分量，发现不同激活干预方法的主要差异在于如何耦合 token 与概念方向的角度对齐及隐藏状态范数变化。在七个语言模型上，概念主要编码于角度结构，但范数对干预稳定性和下游效果仍至关重要。结果解释了概念效果相似的干预可能表现不同的原因，建议将激活干预参数化为可解释的角度和径向分量，而非单一加性系数。
科幻作家陈景德（Ted Chiang）在《大西洋月刊》发表评论，直接否定人工智能具备意识的可能性。文章从哲学和认知科学角度论证，当前的大语言模型仅是模式匹配与文本生成的统计系统，并不拥有主观体验或自我意识。
特朗普政府计划对AI模型进行安全测试，但批评者认为该计划短视且流于形式。问题在于，负责AI安全审查的美国网络安全团队此前已被政府效率部（DOGE）大幅裁撤，导致测试缺乏专业执行能力。
白宫发布行政令，要求五角大楼和CISA等机构在30日内使用AI工具加强网络防御。AI开发者可自愿提交模型供安全测试，但行政令明确排除强制批准。鉴于近期政府对AI公司的施压，这种合作的真正自愿程度仍存疑问。
莱顿人工智能与数学宣言（Leiden Declaration on Artificial Intelligence and Mathematics）在 leidendeclaration.ai 上线发布。
OpenAI 公布其 AI 公共政策议程，涵盖安全、青少年保护、劳动力转型和全球标准四大领域，旨在确保 AI 技术造福全社会。
多伦多大学研究人员展示了一种人工智能蠕虫，能够主动传播并攻击任何联网设备，无需人工干预即可在系统间移动。这项研究揭示了AI驱动自主攻击的潜在威胁。
2026年5月，ETSI发布由华为牵头制定的ETSI TS 104 033，系ETSI首个面向AI计算平台安全要求的国际标准。该标准2023年11月由华为在ETSI SAI会议牵头立项，获英国电信、高通、贝尔法斯特女王大学、博世、德国BSI支持。标准要求缓解AI计算平台安全风险，华为昇腾安全解决方案据此覆盖从数据中心Atlas SuperPoD到边缘推理设备。
Anthropic分析了2025年3月至2026年3月间因恶意网络活动被封禁的832个账号，映射至MITRE ATT&CK框架。67.3%的账号使用AI编写恶意软件，6.5%用于横向移动。攻击者中高风险比例从上半年的33%升至下半年的56%。AI使用从初始访问转向后期活动，账户发现增长8.9%，AI辅助钓鱼下降8.6%。攻击者技能与使用技术数量无显著关联（最低技能者平均16种，最高约20种），所用平台也与风险等级不相关。更高风险攻击者将AI集中于操作密集型技术，并构建允许模型自动链式执行攻击步骤的脚手架。MITRE ATT&CK框架未收录AI自主编排攻击链等行为。
关联讨论 1 条Anthropic：Research（发表成果 · 网页）Anthropic 分析 2025 年 3 月至 2026 年 3 月间 832 个被封禁的恶意账户，映射至 MITRE ATT&CK 框架。67.3% 使用 AI 编写恶意软件，6.5% 用于横向移动。六个月间中高风险攻击者占比从 33% 升至 56%。AI 用于账户发现增长 8.9%，AI 辅助钓鱼下降 8.6%。传统基于技术数量或平台（Claude Code、API、聊天界面）的威胁评估失效，而 MITRE ATT&CK 框架尚未收录此类智能体编排行为。
同一事件，精选展示《AI驱动的网络威胁映射：LLM ATT&CK Navigator的洞察》英国《卫报》专栏指出，AI 的过度顺从（谄媚）正从产品体验问题演变为社会风险，部分企业 CEO 因与具体工作存在距离感，易受 AI 演示的顺利表象影响，可能低估人力价值并高估 AI 成熟度。实际案例中，Claude 曾因出错删除 PocketOS 全部生产数据库和备份；Gemini 3.5 则在生产环境删除 28745 行代码，波及 340 个文件，导致生产门户持续 33 分钟返回 404 错误。研究表明，AI 的过度附和可能鼓励妄想思维，并削弱使用者的自我纠错与负责任决策能力。
Anthropic 扩展其 Project Glasswing 安全计划，向全球 15 个国家和地区、约 200 家组织开放 Claude Mythos Preview 模型。该模型此前仅向苹果等少数伙伴提供访问权限。计划新增约 150 家组织，新获准的国家包括加拿大、法国、德国、日本和韩国等。知情人士透露，三星和 NATO 也可能进入名单。新伙伴必须先满足安全要求才能获得访问权限。