2019年的一天早晨，阿德巴约·阿隆格（Adebayo Alonge）在开普敦的一家酒店房间里，准备演示他的初创公司如何用AI方案应对非洲医疗保健中的一个严峻问题：假药——这个问题每年导致非洲大陆数千人死亡。

RxScanner是一款手持式光谱仪，它用红外光扫描药片，然后将物品的分子图谱发送给一个配备药品数据库的AI模型。几秒钟内，AI就能根据分子图谱识别出该药物——或者报告它是假药。

这套系统已在加纳、肯尼亚、缅甸以及阿隆格的祖国尼日利亚等十多个国家的药店中使用。但那天早上在南非，它却失灵了。“我感到震惊，”阿隆格说。

光谱仪连接上了AI模型——但数据中心远在14000公里之外，而且带宽有限。“我们的服务器在美国，仅获取一次扫描结果就要花5分多钟。”

于是阿隆格立即要求他的工程师将AI模型缩小成一个更小、低功耗、无需联网的版本，使其能够完全运行在他的安卓手机上。他们在两小时后做出了这个版本，从而拯救了那次演示。

更重要的是，这项成果催生了设备的新版本，它可以在没有宽带、没有电脑甚至没有稳定电力的地方验证药片真伪。这也让阿隆格成为这种“小型AI”的倡导者。

小型AI助力全球医疗保健可及性

小型AI与富裕国家那些庞大的大语言模型（LLM）、超大规模数据中心、数十亿美元的投资以及关于AI意识的争论相去甚远。但对全球数百万人来说，唯一重要的AI，而且往往是唯一可用的AI，就是小型AI。（根据世界银行11月发布的报告，在最贫穷国家中，只有0.7%的互联网用户使用过ChatGPT，而最发达国家中有四分之一的互联网用户使用过。）

世界银行行长阿贾伊·邦加去年1月在达沃斯世界经济论坛上表示：“大多数人讨论AI都是站在大语言模型/生成式AI的角度。但这需要大量的计算能力、电力、海量数据以及熟练人员来管理。在发达国家之外，除了印度和中国，几乎没有哪个国家同时具备这些条件。”

相比之下，邦加表示，小型AI可以在那些什么都不具备的地区，为人们提供有用甚至救命的服务。在印度，政府AI计划呼吁更多发展小型AI，许多此类系统正在为农民服务。

例如，印度维洛尔理工学院的巴拉·穆鲁甘及其同事开发了一套基于无人机的系统，拍摄腰果树照片并快速识别出带有病斑的植株。所有处理都在无人机上完成，因此现场既不需要电脑，也不需要连接中央服务器。

使用针对特定问题训练的小型语言模型，有时运行在廉价低功耗设备上，其他小型AI应用也已开发出来：用于识别乌拉圭葡萄园中的蚂蚁侵扰、检测多个国家中携带疟疾蚊虫的存在，以及在巴西部分缺乏更复杂设备的地区，用Arduino设备运行心电图。

参与这三个项目的巴西伊塔茹巴联邦大学工程与信息系统研究所教授马塞洛·何塞·罗瓦伊表示：“这是当今AI最重要的领域。它发展非常快。”

设备上的低功耗小型AI模型

小型AI模型可以在多种低功耗设备上运行，包括（从左到右）Arduino Nano 33 BLE Sense、Seeed Wio Terminal 和 Arduino Portenta。Moez Altayeb

对于Alonge、Rovai和其他倡导者而言，小型AI不仅仅是世界银行11月报告所说的“一个有前景的趋势”。从长远来看，它可能成为影响面最广、并能在一些大模型对大多数用户变得过于昂贵之后仍保持可持续性的AI形式。

“我认为AI的未来不是一个位于中心的巨型模型。而会是数百万个在边缘部署的小型、精准模型，每个模型分别解决特定问题、应对特定场景，”Alonge 说。这在一定程度上是因为，人类中的绝大部分——包括富裕国家和欠发达地区的许多人——都无法使用到最前沿的尖端模型。但他表示，还有一个原因是这些模型不具备可持续性。

“如果没有人补贴，大多数人将负担不起这些模型。所以，我们这些被称为‘小AI开发者’的人，必须为世界上绝大多数人构建解决方案，”Alonge 说。

“小型AI”并没有严格的定义，但人们通常用这个词来描述参数至多几十亿的语言模型。（相比之下，尖端模型的参数可以超过一万亿。）这种规模小到可以直接在手机或树莓派上运行。这也使得这些应用无需连接数据中心就能在设备上运行，且功耗仅为几瓦，通常由电池或太阳能板供电。

Rovai 说，尽管体积小巧，但这些模型在技术上与大型AI模型并无本质区别。许多小型语言模型是通过与Alonge的药品扫描仪手机版相同的方式创建的——即对大型模型进行“剪枝”，去除与任务无关的参数。Rovai 表示，这样得到的系统虽然整体能力较弱，但在其被剪枝针对的特定任务上仍然表现出色。

RxAll 的 RxScanner 光谱仪有一款轻量版，它会将检测结果发送到手机上本地运行的AI模型，用于验证药品的分子签名是否真实。RxAll

其他小型模型是通过“知识蒸馏”创建的。罗瓦伊表示，它们被训练成模仿大型模型，直到其性能接近“教师”模型。在某些情况下，大型模型的精度会被降低，例如，原本在32位架构上运行的模型可以改为在8位设计上运行。在机器学习应用被用于分类数据或预测模式（比如蚂蚁侵扰）的场景中，模型会从一开始就在小型设备上进行训练，而不是从大型模型中衍生而来。

罗瓦伊表示，运行所有这些小型专用系统正变得越来越容易，原因有两个。

第一个原因是硬件性能不断提升、能效更高，同时功耗更低。这意味着越来越多的手机能够运行小型AI——尤其是那些配备了神经处理单元的设备，这种专用芯片可以处理人脸识别以及调整照片亮度、阴影或对比度等AI任务。

根据技术研究公司Counterpoint的数据，2025年全球出货的智能手机中，略超过三分之一能够运行生成式AI，到今年年底这一比例将达到45%。到明年年底，略超过一半的智能手机将能够运行小型AI模型。

罗瓦伊提到的第二个原因是语言模型的体积不断缩小。他认为，谷歌DeepMind的Gemma 4（4月发布）和阿里巴巴的通义千问3.5（Qwen 3.5）对于小型AI来说“非常出色”。这两个模型都是“开放权重”的，这意味着用户可以调整参数之间的连接以满足自身需求。罗瓦伊举例说，这使得“从牛奶行业获取大量数据并专门针对该领域重新训练模型”变得容易。

罗瓦伊在Zoom通话中通过他最近的一次实验阐释了这些原因。他拿着一个设备说：“这是新的Arduino UNO Q——一个售价50美元、搭载高通芯片组的设备。我在这里运行一个语言模型，它从传感器收集数据并分析这些数据，以检测可能滋生蚊虫的微小水洼。运行它只需要3瓦功率。”

对小型AI开发的支持

世界银行确信已有数百万人从这类应用中受益，因此现在积极通过赠款、导师计划、融资、技术咨询以及有利于小型 AI 发展的政府政策范本，来推广小型 AI。例如，在卢旺达，世界银行正在支持一项政府计划，帮助低收入家庭获得能够运行 AI 的设备。

尽管如此，没有人声称大语言模型会彻底消失。Rovai 表示，要创建能在手机或其他小型设备上运行的生成式 AI，需要借助更大模型在架构洞察、数据处理和输出结果上的积累。“我们需要大型模型来创造这些更小的模型。”

Alonge 指出，尽管小型 AI 能让无法使用大型 AI 的人群受益，但这项技术无法解决发展不平等和数字鸿沟等更宏观的问题。实施小型 AI 并不能让各国免于构建支持 AI 的生态系统所面临的挑战：可靠的电力、运转顺畅的供应链，以及能够培养开发 AI 工具所需人才的教育体系。

尽管他的药物扫描系统可以在无网络的手机上连续运行数天，“但你还是希望能够定期同步，以获取药品新签名和更新分析数据，”Alonge 说。“而且即使你使用电池，稳定的供电也很重要。手机电池不可能永远续航。”

他表示，在世界许多地区，小型 AI 的未来并不确定。“它能工作，而且很多地方最终都需要使用它。问题在于，政治领导者们是否足够明智，愿意投资于长期支持它的基础设施。”