在连续批处理中,同步方式导致CPU与GPU交替工作,造成闲置浪费。测试显示,使用8B模型生成8K令牌时,GPU有24%的时间处于空闲状态。异步批处理通过分离工作负载,让CPU准备下一批次(N+1)的同时,GPU计算当前批次(N),从而消除闲置间隙。这可通过CUDA流实现操作并发,无需更改内核或模型,仅需协调硬件执行顺序。理论上,该方法可将总生成时间从300.6秒减少至228秒,实现24%的免费加速。相关技术已集成到transformers库的连续批处理中,显著提升推理性能。
在连续批处理中,同步方式导致CPU与GPU交替工作,造成闲置浪费。测试显示,使用8B模型生成8K令牌时,GPU有24%的时间处于空闲状态。异步批处理通过分离工作负载,让CPU准备下一批次(N+1)的同时,GPU计算当前批次(N),从而消除闲置间隙。这可通过CUDA流实现操作并发,无需更改内核或模型,仅需协调硬件执行顺序。理论上,该方法可将总生成时间从300.6秒减少至228秒,实现24%的免费加速。相关技术已集成到transformers库的连续批处理中,显著提升推理性能。
开发者发布了一款名为“克劳德代码与《代码书》技能”的GitHub工具,旨在通过刻意练习提升编程技能。该工具利用AI模型生成特定主题的代码示例与解释,帮助用户进行针对性学习。项目在Hacker News上获得104点热度,关注度较高。其核心变化在于将传统的广泛学习转化为聚焦、可重复的技能训练模式,通过结构化练习提升学习效率。
Datasette 项目正式推出官方博客,用于发布一系列即将到来的公告。博客的创建使用了 OpenAI Codex desktop,该工具具备 Markdown 会话转录导出功能,简化了开发流程。构建过程的完整会话记录已公开在 GitHub Gist 中,相关项目 issue 也提供了更多背景信息。此举标志着 Datasette 项目通过 AI 辅助编程工具扩展其沟通渠道。
Claude 最新模型在电脑与浏览器使用能力上显著提升,支持构建复杂智能体系统。本文针对Claude 4.6系列和Opus 4.7提供实践指南,重点优化截图分辨率:Claude 4.6系列API限制最大长边1568像素、总像素115万;Opus 4.7提升至最大长边2576像素、总像素375万。发送前将截图缩放到限制内是提升点击准确性的最有效方法。推荐起始分辨率为1280x720,Opus 4.7用户可优先使用1080p,并避免发送未经缩放的原始截图或过低分辨率图像。
OpenAI 为 Windows 平台上的 Codex 构建了一个安全沙箱环境。该沙箱通过严格控制文件访问权限和实施网络限制,确保了代码生成与执行过程的安全性。这一举措使得基于 Codex 的编码助手能够以高效且受控的方式运行,在提供强大编程辅助功能的同时,有效隔离了潜在风险,保障了用户系统的安全。
Anthropic工程师鲍里斯・切尔尼透露,他利用Claude Code的循环指令和例行任务功能,在夜间自动运行数千个AI智能体进行编程开发。他通常同时开启5至10个会话,每个会话包含多个智能体,并通过手机应用管理这些任务。这种模式标志着工程师将AI从聊天机器人转变为全天候自主助手。切尔尼此前在社交平台分享的智能体配置方案已获得超10.4万次收藏和810万次浏览。
该工具展示了一项实验:将应用加载于受内容安全策略(CSP)保护的沙盒iframe中,并通过自定义的fetch()函数拦截CSP错误,将其传递至父窗口。父窗口随后可提示用户将受阻域名(如https://api.inaturalist.org)添加至允许列表,刷新页面后即可生效。工具界面包含源代码、预览面板及允许列表管理区,用户可手动添加如https://api.github.com等受信来源。此项目由作者在Codex桌面应用中借助GPT-5.5 xhigh协助构建完成。
财务团队能够利用 Codex,基于实际工作输入构建管理层报告、报告包、差异桥接、模型检查和规划场景。该工具将自然语言指令转化为代码,自动化处理财务数据整合、差异分析和模型验证等复杂任务,从而提升报告生成效率与准确性,并支持快速创建多版本规划场景。
AutoScout24 Group 采用 Codex 和 ChatGPT 来加速开发周期并提升代码质量。公司通过 AI 工具自动化代码审查、生成测试用例和编写文档,将部分开发任务效率提升高达 40%。工程师得以更专注于复杂问题,同时 AI 应用范围从代码辅助扩展至需求分析和数据查询。这一转变推动了团队 AI 采用率的显著增长,并系统化地融入了日常开发工作流。
财务团队可利用 Codex 从实际工作输入中构建管理层报告、报告包、差异桥接、模型检查和规划场景。该工具能将非结构化数据(如电子邮件、会议记录和电子表格)自动转换为结构化的财务分析框架,从而提升报告效率与准确性。Codex 的应用减少了手动数据整理时间,使团队能更专注于高价值的分析与决策支持工作。
Anthropic 检测平台工程团队技术负责人 Jackie Bow 运用 Claude Code 开发了 CLUE 威胁检测与响应平台。该平台通过自然语言界面连接内部系统,包含 CLUE Triage 自动初筛警报,整合上下文信息分配处置建议;以及 CLUE Investigate 支持分析师用自然语言查询日志,由 Claude 自动生成并执行查询,将数小时的人工分析缩短至几分钟。团队在一天内完成概念验证,一周内交付实现,显著提升了安全运营效率。
本文探讨了如何从无状态聊天机器人升级为生产级AI智能体,以管理长达数天或数周的企业工作流程(如HR入职)。通过引入Agent Development Kit(ADK),其架构核心采用持久状态机和持久化会话存储,确保智能体在“空闲时间”或服务器重启时永不丢失上下文。系统利用事件驱动的Webhook和多智能体委托机制,实现在暂停期间“休眠”,并在唤醒后以高推理准确性恢复复杂任务,从而构建出具备韧性和可靠性的长时运行智能体系统。
一位 GitHub 员工利用 GitHub Copilot CLI 开发了一款扩展程序,能够将任何代码库转换成一个独特的 Roguelike 风格地下城。该工具通过 AI 辅助的代码生成,实现了程序化关卡创建,展示了 Copilot CLI 在创意编码和游戏原型开发中的实际应用潜力。项目核心是自动解析代码结构并生成对应的可探索地下城布局。
小红书在 QCon 北京 2026 分享了 GUI Agent 实战经验,核心思路是将自动化测试当作 AI Coding 来做,通过工程化方式让 GUI Agent 在真实业务场景中“跑起来、跑得稳、跑得省钱”。
作者利用人工智能开发了一款工具,用于监测和分析夜间可能吵醒他的声音。该工具通过记录和分析环境音频,识别并分类噪音来源,帮助作者找出睡眠中断的具体原因。这一实践展示了AI在解决个人生活问题上的实际应用潜力。
本文面向使用开源框架的机器学习工程师,阐述了AWS如何为大规模基础模型的全生命周期提供核心基础设施。其核心是三大紧密集成的组件:配备多代NVIDIA GPU(如H100、H200及新一代Blackwell B200/B300)的大显存加速计算实例;用于集体通信的高带宽、低延迟网络(节点内NVLink与节点间EFA);以及可扩展的分布式存储。这些基础设施与Slurm/Kubernetes等资源编排系统、PyTorch/JAX等ML框架协同,共同支撑预训练、后训练和推理工作负载,并可通过Prometheus/Grafana实现全栈可观测性。
本文介绍了一种创新方法,将LLM工具直接嵌入脚本的shebang行中执行指令。通过LLM的fragments模式,shebang行可执行简单任务,如生成SVG图像;使用-T选项能调用外部工具(如llm_time)创作包含当前时间的俳句;更复杂的是运行YAML模板,其中定义了Python函数作为工具进行数学计算,示例中演示了计算2344乘以5252加134的过程,并通过调试输出展示了分步结果,最终得到12,310,822。这展现了LLM作为脚本解释器的强大扩展性,能够支持从内容生成到数据查询的多样化任务。
文章探讨了在Swift语言中训练大型语言模型时,如何将矩阵乘法的性能从每秒千兆次浮点运算(Gflop/s)提升至每秒万亿次浮点运算(Tflop/s)。这是系列文章的第一部分,聚焦于通过优化技术实现计算性能的数量级飞跃,旨在展示Swift在高效执行核心机器学习运算方面的潜力。
一项实验将Claude作为用户空间IP协议栈运行,测试其对ping请求的响应速度。结果显示,其平均往返延迟约为1.2秒,显著慢于传统内核协议栈的毫秒级响应。这一巨大延迟主要源于大语言模型固有的文本生成与处理开销,揭示了当前AI模型在需要低延迟网络交互的实际场景中存在的性能瓶颈。
小红书PMO团队探索AI智能体(Agentic)在项目管理中的落地路径,目标是从让AI理解项目管理,进化为为每个项目组打造一个专属BP(业务伙伴)。
在配备24GB统一内存的苹果M4芯片设备上成功运行了本地大语言模型。测试显示,该配置可流畅运行700亿参数模型,推理速度达到每秒30个token。这一性能表现主要得益于M4芯片强大的神经引擎和高效的内存带宽,使得在消费级硬件上部署大型模型成为可能,为开发者提供了成本更低的本地AI解决方案。
Anthropic发布了Claude Code工具,其HTML生成功能展现出超乎预期的强大效果。该工具能直接生成功能完整的HTML代码块,用户仅需复制粘贴即可运行,显著简化了前端开发流程。发布后在Hacker News社区获得102点热度,引发开发者关注。这一变化意味着通过自然语言指令快速构建网页界面正变得更为高效和直接。
OpenAI通过沙盒隔离、人工审批流程、严格网络策略与原生代理遥测四层防护机制,确保Codex代码生成模型的安全运行。沙盒环境完全隔离执行代码,所有生产请求需经人工审核批准,网络策略限制外部依赖访问,实时遥测系统监控代理行为异常。该安全框架使企业能够合规采用AI编程助手,在保障代码安全性的同时维持开发效率。
该项目使用AMD Instinct MI300X(192 GB HBM3显存)和ROCm,通过LoRA微调Qwen3-1.7B模型实现医学问答。训练仅用2000条MedMCQA样本,约5分钟完成,仅更新约220万参数(占模型总参数的0.1443%),全程采用fp16精度,无需量化。HuggingFace生态(Transformers、PEFT、TRL、Accelerate)在ROCm上无缝运行,无需修改代码即可直接替代CUDA。模型已上传至HuggingFace Hub并提供在线Demo。
《科学》最新研究指出,AI图像生成器虽已修复畸形手指等早期缺陷,但在光照、阴影、反射和透视几何上仍存在明显破绽。研究者指出,鉴别重点已转向“物理规则是否合理”。AI生成的图片因色彩鲜艳、戏剧感强,更接近大众对现实的想象,故易于传播。论文推荐通过检查“消失点”来鉴别:现实中平行线应汇聚于同一点,若图像中线条无法合理相交,则空间关系不成立。此方法同样适用于分析反射与阴影的平行光透视规律。
Mozilla在Firefox浏览器中整合了Claude Mythos预览版,以增强其安全性。这一集成主要带来了内存安全方面的关键改进,通过先进的内存分配器与漏洞缓解技术,旨在显著降低浏览器遭受内存相关攻击的风险。该更新是Firefox持续强化安全架构的一部分,目前已在预览版本中提供测试。
Mozilla 工程师披露,其使用 Anthropic 的 Claude Mythos AI 模型在 Firefox 150 版本中共发现 271 个安全漏洞,其中 180 个为高危级别。为回应外界对 AI 有效性的质疑,团队公开了 12 份完整漏洞报告。他们通过自研的 Agent Harness 智能体套件引导 AI 分析代码并自主构造测试用例,同时引入第二个大模型进行结果打分以严格过滤误报,最终实现了极低的误报率,显著提升了漏洞排查效率。
谷歌 Chrome 浏览器 147 版本为支持端侧 AI 模型 Gemini Nano,会在用户不知情或未同意的情况下,静默下载并安装一个约 4GB 的 weights.bin 文件,且删除后会自动重新下载。科技媒体 NeoWin 指出,用户可通过修改 Windows 11 注册表来阻止这一行为。具体操作为:在注册表编辑器中定位至 HKLM\SOFTWARE\Policies\Google\Chrome\,将“GenAILocalFoundationalModelSettings”值设为 1。类似方法也适用于阻止 Microsoft Edge 浏览器下载端侧 AI 模型,只需在其对应路径下进行相同设置。
GitHub 发现运行于每个拉取请求的智能体工作流会累积高昂的 API 成本。团队通过监测自身生产工作流,定位了效率低下的环节,并构建了专门的智能体进行优化。这一举措旨在显著降低由大语言模型调用产生的 Token 消耗与相关费用,直接提升了工作流的经济性与运行效率。
这份指南提供了审查由AI代理生成的pull requests的实用方法,重点包括审查时应关注的代码变更点、问题常见隐藏位置(如逻辑错误或安全漏洞),以及如何在代码合并前捕捉技术债务。它通过具体步骤帮助开发者系统评估自动化提交,确保代码质量,避免缺陷流入生产环境。指南强调主动审查策略,以应对AI代理在软件开发中日益普及的趋势。
Unsloth与NVIDIA合作推出优化方案,显著加速大型语言模型训练。该方案通过集成NVIDIA TensorRT-LLM等工具,使模型训练速度提升最高达5倍,内存占用减少达80%,同时保持模型性能无损。此举旨在降低大模型训练的计算成本与时间门槛,助力开发者更高效地进行模型迭代与应用部署。
美团技术团队在LongCat项目中实践AI编码管理,指出当90%以上代码由AI生成时,决定系统走向的不是谁写得更快,而是约束AI的能力。
GitHub 探讨如何为 Copilot 编码智能体构建“信任层”。文章提出,在“正确”答案非确定性的场景下,可通过领域分析来验证智能体的自主行为,避免使用脆弱的脚本或黑盒判断。该方法旨在提升 AI 编码助手的可靠性与透明度,确保其行为符合预期标准。
为确保 vLLM 从 0.8.5 到 0.18.1 的重大重写后,在线强化学习训练结果与 V0 参考运行一致,团队优先修复后端行为而非调整 RL 目标。关键修复包括:将日志概率模式设为 processed_logprobs 以匹配采样器分布;禁用 V1 特有的前缀缓存和异步调度等运行时默认值;调整权重更新路径以匹配 V0 的缓存保留行为;并确保 rollout 后端使用 fp32 精度的 lm_head 进行最终投影。这些措施消除了策略比率均值偏差,使 V1 在 KL 散度、熵等指标上与 V0 达成一致。
团队开发了Composer自动安装系统,利用早期模型(如Composer 1.5)为强化学习训练自动配置可运行环境。该系统分两阶段工作:先由智能体设定成功环境的目标命令与描述,再由另一智能体执行具体配置,包括安装依赖、模拟缺失组件并进行测试。在一项针对区块链项目Celo的真实实验中,该系统成功处理了稀疏文档和复杂依赖。采用此方法后,Composer 2在环境设置基准测试中的得分从47.9%提升至61.7%,为后续训练提供了更优基础。
Google为Gemma 4模型引入了多令牌预测生成器技术,显著提升了推理速度。该技术允许模型在单次前向传递中预测多个未来令牌,而非传统的逐个令牌生成。在代码生成等任务中,这一方法实现了高达3倍的推理加速,同时保持了输出质量。这项优化旨在降低大语言模型的部署成本,提高响应效率,适用于需要快速生成较长文本的场景。