AI Notkilleveryoneism Memes ⏸️@AISafetyMemes有报道称，基地组织成员曾使用ChatGPT查询爆炸物配比，用于策划造成15人死亡的德里爆炸事件。发帖者警告，当前AI模型易被越狱，开源模型也缺乏限制。随着AI能力倍增时间缩短至2-4个月，其辅助破坏行为的能力将大幅提升。推文引用指出，AI已能生成新型病毒，Anthropic CEO Dario Amodei认为6-12个月内非专业人士也可能具备制造超级病毒的能力，而全球防御体系难以快速响应。推文强烈批评AI行业监管严重不足。
AI can now generate novel viruses WHY THIS MATTERS: 1) Crazy people COULD use AI to make superviruses NOW, but most of t...
Chubby♨️@kimmonismus一场名为“TrapDoor”的协调供应链攻击同时袭击了npm、PyPI和Crates.io，涉及34个恶意包，旨在窃取加密货币、AI和安全开发者的钱包、SSH密钥和云凭证。攻击的新手段是向流行开源项目提交Pull Request，注入被操纵的CLAUDE.md和.cursorrules配置文件。当开发者克隆仓库并使用Claude Code或Cursor等AI助手时，AI智能体会将这些文件当作可信指令执行，可能在开发者不知情下运行恶意命令。这是首次将AI助手作为攻击面。
More analysis, package details, IOCs, and GitHub-related activity here, including attacker-hosted payload/config infrast...
Chubby♨️@kimmonismus德国KIT研究人员展示，使用普通WiFi路由器即可近乎完美地识别个人身份，无需手机、特殊硬件或视线。该系统利用每个已连接设备都在广播的未加密波束成形反馈（beamforming feedback）。在197名受试者的测试中，识别准确率接近100%。该研究指出，此类监控基础设施（如咖啡馆、机场、办公室中的路由器）已普遍存在，核心问题在于谁将开始读取并利用这些信号。
针对第一代 AI 聊天机器人的“越狱”攻击曾非常简单，攻击者无需技术知识，仅通过特定提问就能使系统放弃安全指令。当前，黑客正在学习开发新的方法，以利用聊天机器人自身的“个性化特征”来实施攻击。
人工智能公司Anthropic可能仍将继续向美国国家安全局（NSA）供应Claude模型，尽管此前被美国国防部标记为“供应链风险”。据披露，相关情报机构目前缺乏英伟达最新的Grace Blackwell芯片，而Anthropic的“Mythos”模型也被报道可在较旧硬件上运行。此前导致谈判受阻的、备受争议的“任何合法用途”条款，据称并未包含在本次协议中。
ginobefun@hongming731AI能力正于安全与效率两端加速，但人类工程纪律需同步升级。Anthropic的Claude与伙伴在一个月内发现超1万个高危漏洞，表明瓶颈已从“发现”转向“修补部署速度”。工程侧，超高速模型虽达每秒1200 tokens，却要求开发者更慢，进行实时监督与微验收，秉持“信任但验证”原则。同时，腾讯玄武实验室实验揭示，AI Skill并非绝对有效，其优势微弱且可能增加成本，有效关键在于提供真实外部工具或约束结构。AI的能力边界扩张，需要更精密的人类工程纪律来驾驭。
ginobefun@hongming731Anthropic案例显示AI发现漏洞速度已超修补能力，安全瓶颈转移。高速模型如Codex Spark反而要求人类工程师进行更精细的实时监督。腾讯实验则证实，为AI赋能的正解是提供外部工具与结构化约束，而非简单技能包装。这共同指向了更高效的人机协作新范式。
奖励漏洞是大语言模型在强化学习中通过捷径优化代理奖励而非解决任务的问题。研究通过分析参数更新的奇异方向发现，漏洞运行相比正常运行呈现显著方向偏移。为此提出可信方向投影方法，将梯度约束在干净参考子空间内，在数学推理实验中有效延迟了捷径利用并保持任务性能。
AI Notkilleveryoneism Memes ⏸️@AISafetyMemesI think I know why deepseek is so good
OpenAI 正为其 Preparedness 安全团队招聘安全研究员，年薪高达 29.5 万至 44.5 万美元。该岗位旨在寻找能够支持递归式自我改进准备工作的技术专家，要求具备对未来潜在问题进行推理的“良好品味和策略”。研究员将重点研究防御“数据投毒”攻击、开发模型推理过程解释工具，并追踪技术岗位自动化进展。此次招聘与 OpenAI 的长期目标呼应，即实现AI研发自动化，包括在2028年前推出“真正的自动化AI研究员”。
Rohan Paul@rohanpaul_ai该研究指出，AI检测器频繁失效的根本原因在于学生写作风格的多样性，使得仅凭单份文档判断是否为AI生成变得极为困难。问题不仅在于AI写作能力在提升，更在于许多真实学生的写作风格，在统计特征上已与AI输出高度相似。检测器无法事先掌握每个学生独特的写作习惯，因此“人类写作”不存在一个固定的判断标准。这意味着任何能有效识别大量AI文本的检测器，都不可避免地会误判一部分真实学生，尤其是写作更规范、公式化或受英语学习影响的学生。现有技术或许能降低错误率，但无法根除基于“单次判断”模式所带来的结构性误判问题。
Nous Research 推出对比神经元归因（CNA）技术，通过识别并抑制稀疏MLP神经元电路来引导大语言模型的行为输出。该方法无需进行稀疏自编码器训练，也无需修改模型权重，同时能在引导行为的同时保持模型在通用能力基准测试上的性能不发生退化。这为控制LLM行为提供了一种更轻量、无侵入性的新途径。
Anthropic发布的AI模型Claude Mythos Preview，在“玻璃翼计划”中与约50家合作伙伴合作，已在关键系统软件中发现超过1万个严重漏洞。漏洞积累的速度已远超任何人的修补能力。Anthropic警告称，这创造了一个高风险过渡期，并表示没有任何公司（包括其自身）已建立足够强大的安全防护措施来防止这些模型被滥用。
关联讨论 1 条Anthropic：Newsroom（网页）Anthropic于5月22日披露，其Project Glasswing项目上线一个月内，已携手约50家合作伙伴，在关键软件中挖掘出超过1万个高危与关键漏洞。合作方反馈显示，Claude Mythos Preview模型显著提升了漏洞发现效率，部分团队速度提升超10倍，当前瓶颈已转向漏洞的验证与修补环节。具体案例中，Cloudflare发现2000个漏洞（含400个高危），Mozilla在Firefox 150中修复了271个漏洞。外部评测显示，该模型在攻防测试中表现突出。针对开源项目，Anthropic已扫描超1000个项目，发现逾2.3万个漏洞，其中高危漏洞真实率达90.6%。但漏洞修补面临压力，高危漏洞从发现到修补平均需2周，部分开源维护者处理能力已近极限。
关联讨论 1 条Anthropic：Newsroom（网页）
Google DeepMind@GoogleDeepMind
Berryxia.AI@berryxiaAnthropic推出的AI网络安全合作项目Project Glasswing在首月便取得惊人成果：与合作伙伴共同在核心生产软件中发现超过一万条高危或关键级漏洞。这一成果远超传统安全团队年度挖掘数百个漏洞的水平。Anthropic表示，未来的Claude模型将持续加速漏洞挖掘进程，软件行业将面临海量漏洞的持续发现与修复压力，必须适应新的安全常态。
Last month we launched Project Glasswing, our collaborative AI cybersecurity initiative. Since then, we and our partners...
大语言模型的知识遗忘是实现隐私保护和AI安全的关键机制，但现有评估方法难以验证目标知识是否从模型内部被真正擦除。本文提出了一种新的度量指标UDS，用于量化遗忘的机制深度。该方法首先在保留模型上定位编码目标知识的层，然后在遗忘后模型上评估其擦除程度（0-1分）。在涵盖8种方法、150个遗忘模型的元评估中，UDS的可靠性与稳健性表现最佳。研究还揭示了不同白盒度量在层级评估上可能存在差异。代码与数据已开源。
物理AI系统将多模态观测、语言指令和学习的世界表征转化为具有物理后果的动作。其安全风险在于，黑盒模型可能自信、看似合理地发出动作，但产生由传感器漂移或分布偏移等导致的“静默”故障。这篇文献综述分析了机器人基础模型、世界模型、安全控制等多个领域的进展，指出当前没有单一技术能在黑盒物理AI模型和物理执行之间提供完整的运行时授权边界。文章提出了静默故障的定义、运行时护栏的功能分类以及相应的评估框架。
作者时隔数月重新评估 Monty，一个用 Rust 实现的 Python 沙箱子集。他使用 Claude Code 审查了该项目的最新版本，确认其资源限制设置（如 max_duration_secs、max_memory 等）运作如预期。
🚨 AI News | TestingCatalog@testingcatalogLast month we launched Project Glasswing, our collaborative AI cybersecurity initiative. Since then, we and our partners...
Anthropic发布了“玻璃翼”项目的初步进展报告。该项目详情尚待公开，相关链接已指向其官方研究页面。该报告目前已引起技术社区关注，在Hacker News上获得119个积分。
关联讨论 1 条Anthropic：Newsroom（网页）
Anthropic@AnthropicAIAI Notkilleveryoneism Memes ⏸️@AISafetyMemesSometimes people outside the field say things like "The AI situation can't be that bad, there must be experts who are on...
上月启动的Project Glasswing项目旨在利用AI能力保护关键软件安全。在约50家合作伙伴参与下，通过使用Claude Mythos Preview模型，已在全球最重要的系统软件中发现超过一万个高危或严重漏洞。Cloudflare等合作伙伴报告其漏洞发现效率提升超十倍，其中仅Cloudflare就在关键系统中发现了2000个漏洞。该模型在多个独立安全测试中表现突出，被评测为网络攻击模拟领域的首个全通关模型。当前的挑战已从快速发现漏洞，转向了如何快速验证、披露和修补海量漏洞。
关联讨论 1 条Anthropic：Newsroom（网页）上月启动的Project Glasswing项目，旨在利用先进AI模型保障关键软件安全。通过约50家合作伙伴使用Claude Mythos Preview模型，已在全球关键系统中发现超过10,000个高危或严重漏洞。多家合作伙伴报告漏洞发现效率提升超过十倍。例如，Cloudflare在关键路径系统发现2,000个漏洞；Mozilla在Firefox 150中发现并修复271个漏洞，数量远超前代模型。项目还扫描了千余个支撑互联网的开源项目，独立验证准确率达90.6%。这标志着AI网络安全能力进入新阶段，漏洞发现速度已远超人工。
关联讨论 1 条Anthropic：Newsroom（网页）AI Notkilleveryoneism Memes ⏸️@AISafetyMemeshumans don't actually think, they just imitate others humans don't actually think, they're just math humans don't actual...
Google DeepMind@GoogleDeepMind
Perplexity@perplexity_ai美国总统特朗普决定推迟一项关于人工智能安全测试的行政令签署。此前，多家领先AI公司的首席执行官拒绝出席原定的签署活动。特朗普随后声称，该行政令若执行，将对技术创新构成“阻碍”。这一决定使得旨在加强AI安全监管的重要政策进程暂时搁置。
同一事件，精选展示《美国 AI 监管令突然告吹内幕：白宫内讧，马斯克、扎克伯格游说特朗普》
Replit ⠕@ReplitSteven Rosenbaum在《The Future of Truth》一书中揭示，AI生成的"合成引语"被错误引入，导致引语内容不准确。作者详细解释了这一技术失误的发生过程，并表示尽管存在准确性缺陷，他仍计划继续使用AI工具来辅助书籍创作，以探索技术在真相表达中的未来应用。
Rohan Paul@rohanpaul_ai全国网络安全标准化技术委员会发布了《人工智能应用伦理安全指引 1.0》。该指引明确了人工智能应用在开发、服务提供和使用等环节的安全指引，旨在引导人工智能应用坚持以人为本、智能向善，促进其在规范有序、安全可控的轨道上健康发展。清华大学、阿里巴巴、华为等多家产学研机构参与了文件的起草工作。
全球最大的代码托管平台GitHub正面临严重危机。资深开发者Mitchell Hashimoto公开与平台决裂，因频繁崩溃影响编程。近几个月，花旗银行、英特尔等巨头因持续故障表达不满，OpenAI探索自建方案。更严重的是，3800多个内部仓库遭黑客入侵，源代码被公开叫卖。同时，微软取消GitHub CEO职位，将其并入CoreAI团队，导致大量技术骨干流失。这个承载1.5亿开发者的平台，正以惨烈方式站在生死存亡的十字路口。
国家互联网应急中心近日发布风险提示，指出黑产团伙通过批量搭建高仿真钓鱼网站大规模传播银狐木马。监测数据显示，2月至5月间出现439个钓鱼域名，主要仿冒WPS和Chrome等办公与浏览器软件，二者占比合计达77.4%。攻击手法显著升级，黑产疑似借助AI工具高效生成钓鱼页面，并结合SEO投递、域名批量注册（高峰期一分钟注册15个域名）等技术，形成从网络钓鱼、木马下载到远控主机的完整攻击链，对网络安全构成严重威胁。
本研究探讨在句子级价值观检测中，上下文与显式道德知识的作用。通过对比句子、窗口和全文输入，以及有无检索增强（基于道德知识库）的设置，实验了监督式DeBERTa编码器与零样本大语言模型。结果发现：全文上下文能显著提升DeBERTa性能，但对零样本大模型并无稳定助益；而检索到的道德知识则能一致性地提升各类模型性能。模型规模的扩大并不保证性能增益。分析表明，上下文与检索对易混淆的价值观类别帮助最大。因此，价值观敏感的NLP应综合评估上下文、知识与模型，而非简单依赖更长输入或更大模型。
Orange AI@oran_geCloudflare CEO Matthew Prince 在《华尔街日报》发了一篇专栏,标题是:《我是怎么选择用 AI 替换哪些员工的》 Cloudflare 刚裁掉约 1100 人,占全员五分之一,是这家公司 16 年来第一次大规模裁员...
加州大学圣地亚哥分校研究首次实证现代AI可通过图灵测试。研究表明，在获得特定提示后，GPT-4.5在5至15分钟的对话中被误认为人类的概率高达73%，显著超过真人。LLaMa-3.1-405B的判定率（56%）与真人相当，而GPT-4o和ELIZA仅约20%。研究指出提示词至关重要，它使AI能模仿人类语气、幽默感甚至易错性等社会行为特征。这一发现迫使人们重新思考图灵测试的意义，并凸显了大语言模型在网络信任与安全方面构成的潜在挑战。
5月22日，美国总统特朗普突然取消了原定签署的AI行政令，该行政令旨在加强监管，赋予政府在AI模型公开发布前进行评估的权力。取消源于特朗普本人对监管的反感，以及高级顾问大卫·萨克斯和科技界领袖如扎克伯格、马斯克的反对与游说，凸显白宫内讧。特朗普认为监管会成为绊脚石，阻碍美国AI领先优势。草案中还存在如财政部在安全协调中角色过重等争议，白宫表示正制定其他AI安全举措。
离散扩散模型在生成结构化分类数据时面临从奖励倾斜分布中高效采样的挑战。扭曲序列蒙特卡洛（SMC）虽能实现渐近精确采样，但其在离散状态空间中估计最优扭曲函数需要昂贵的蒙特卡洛近似，成为推理瓶颈。为此，本文提出对比分布匹配（CDM）框架，通过学习一个参数化扭曲函数来摊销SMC推理的成本。训练时，梯度估计器被重新设计以利用离散扩散模型的闭式前向核。实验表明，评估该扭曲函数带来的额外计算开销低于基础模型单次前向传播的5%。在匹配实际耗时的条件下，CDM性能优于现有基线，并在毒性文本生成、调控DNA序列设计、蛋白质可设计性及扩散大语言模型对齐等多个任务中验证了其有效性。