# AI的微型钢厂

- 来源：Tomer Tunguz 博客（VC 分析）
- 作者：Tomasz Tunguz
- 发布时间：2026-06-05 08:00
- AIHOT 分数：68
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmq15ezdt0cn9sltrl1ad2e8n
- 原文链接：https://www.tomtunguz.com/using-local-ai-to-work-faster

## 精选理由

Tunguz 把自己 78% 的 AI 任务都挪到本地跑，吞吐量涨了 25%，延迟降了 60%。mini-mill 的类比把端侧 AI 的颠覆逻辑讲得比任何行业报告都清楚，做工作流自动化的值得细读。

## AI 摘要

作者通过技能蒸馏将78%的AI工作交由Mac本地模型处理，仅复杂任务发往云端。智能体自动分类任务：简单任务本地数秒完成，复杂任务路由至云端。过去一周本地处理峰值达88%。双车道设计使吞吐量提升约25%，平均任务时长从47秒降至19秒，队列等待时间从73秒降至4秒（降幅94%）。该模式类比Nucor小钢厂，每台能运行蒸馏模型的边缘设备都成为小型AI工厂，仅对那1/5困难任务支付云费用。未来几年，数以千万计的此类设备将在企业内部增殖，逐步取代现阶段云厂商账单上的大部分工作负载。

## 正文

简而言之：通过一个设备端小型分类器来路由后台 AI 工作，仅将最困难的任务发送至云端，即可在一台 Mac 上将吞吐量提升两倍，并清空任务队列。

我桌上的笔记本电脑现在能处理 78% 的 AI 工作，其余部分则发送至云端。这一转变源于我的技能蒸馏工作。

具体运作方式如下。

我在 Asana 中创建任务。一个智能体看到任务后——例如日程安排、邮件分类、调研、CRM 更新——会将其分类为简单或困难。如果是简单任务，我 Mac 上的本地模型几秒钟就能处理完毕；如果是复杂任务，同一模型会将其路由至云端模型。

在过去七天里，每日峰值达到了 88%。

随着工作负载增长，这种双车道设计开始显现成效。吞吐量提升了约 25%，平均任务耗时从 47 秒降至 19 秒，队列等待时间从 73 秒降至 4 秒。工作内容本身没有任何变化。小而快的任务不再需要排在大而慢的任务后面等待。

这个使用蒸馏技能的任务工厂现在运行顺畅，吞吐量提升了 25%，队列等待时间降低了 94%，系统响应也快得多。目前，云端处理那困难的五分之一，Mac 处理其余部分。

这就像是智能体工作领域的小型钢厂。纽柯公司的小型钢厂起步时规模小、资本轻、贴近需求；一代人的时间之内，它们就超越了那些综合性钢铁巨头。

每一台拥有足够内存来运行蒸馏模型的笔记本电脑、手机和边缘设备，都变成了自己的小型钢厂：本地路由，只为那困难的五分之一支付云端费用。未来几年内，数以千万计这样的设备将在企业内部普及，悄无声息地吸收掉如今大量出现在超大规模云服务商账单上的工作。

纽柯公司始于20世纪60年代，其生产方式并非在大型综合高炉工厂中冶炼铁矿石，而是采用电弧炉熔化废钢。每一家微型钢厂在规模和成本上都仅为综合钢厂的一小部分，选址靠近区域需求地，并依靠灵活且成本较低的劳动力运营。综合钢厂曾不屑地认为，微型钢厂只适合生产钢筋这类低端产品。但在接下来的三十年里，纽柯公司逐步向高端市场进军，生产钢板和结构钢梁。到2014年，它已成为美国最大的钢铁生产商，而大多数综合钢铁巨头（如伯利恒钢铁、LTV钢铁、国家钢铁）则已破产。克莱顿·克里斯坦森在《创新者的窘境》一书中，将这个故事作为颠覆性创新的经典案例。 ↩︎