# 在网络不稳定的地区，小型AI模型正逐渐普及

- 来源：Hacker News 热门（buzzing.cc 中文翻译）
- 作者：sscaryterry
- 发布时间：2026-07-07 14:45
- AIHOT 分数：70
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmrab8cy800w3ihl38ohuxzih
- 原文链接：https://spectrum.ieee.org/small-language-models-ai-pharmaceuticals

## 精选理由

这篇IEEE特写把AI的镜头从硅谷转向了没有宽带的地方，用假药检测、无人机农场等案例讲清楚了一个被忽视的真相：对多数世界而言，能跑在手机上的小型模型才是真正的AI。

## AI 摘要

2019年，Adebayo Alonge因服务器远在美国致RxScanner单次扫描超5分钟，工程师2小时内将AI模型缩小至可在Android手机本地运行，此后RxScanner能在无宽带、缺电地区验药。小AI模型参数通常至多几十亿，可在手机或Raspberry Pi上运行，功耗仅数瓦。类似案例包括印度腰果病害检测无人机、乌拉圭蚂蚁入侵识别、疟蚊检测及巴西基于Arduino的心电图设备。世界银行报告显示，全球最穷国家仅0.7%互联网用户用过ChatGPT，发达国家达四分之一；行长认为小AI是为缺乏算力与电力的地区提供生命救助服务的关键。

## 正文

2019年的一天早晨，阿德巴约·阿隆格（Adebayo Alonge）正在开普敦的一家酒店房间里，准备演示他初创公司的人工智能解决方案，以应对非洲医疗保健中的一个严重问题：假药。假药每年导致非洲大陆数千人死亡。

RxScanner 是一款手持式光谱仪，它用红外光扫描药片，然后将该物品的分子图谱发送给一个配备药品数据库的人工智能模型。几秒钟内，AI 就能根据分子图谱识别出该药物——或者报告它是假药。

包括加纳、肯尼亚、缅甸以及阿隆格的祖国尼日利亚在内的十几个国家的药店都在使用这个系统。但那天早上在南非，它却失灵了。“我很震惊，”阿隆格说。

光谱仪连接上了 AI 模型——但数据中心远在 14,000 公里之外，而且带宽有限。“我们的服务器在美国，仅仅获取一次扫描结果就花了我 5 分多钟。”

于是阿隆格立即要求他的工程师将 AI 模型缩小成一个更小、低功耗、无需联网的版本，使其能够完全在他的安卓手机上运行。他们两小时后便完成了，这拯救了那次演示。

更重要的是，这项工作催生了他的设备的新版本，该版本可以在没有宽带、没有电脑、甚至没有稳定电力的地方验证药片真伪。这也让阿隆格成为了这种“小型 AI”的倡导者。

小型 AI 助力全球医疗保健可及性

小型 AI 与富裕国家庞大的大语言模型（LLM）、超大规模数据中心、数十亿美元的投资以及关于 AI 意识的争论相去甚远。但对于全球数百万人来说，唯一重要的 AI，而且往往是唯一可用的 AI，就是小型 AI。（根据世界银行 11 月发布的一份报告，在全球最贫困国家，只有 0.7% 的互联网用户使用过 ChatGPT，而在最发达国家，这一比例为所有互联网用户的四分之一。）

世界银行行长阿贾伊·班加去年1月在达沃斯世界经济论坛上表示：“大多数人讨论的AI都来自大语言模型/生成式AI这一侧。但这需要大量的算力、电力、海量数据和熟练人员来管理。在发达国家之外，除了印度和中国，很少有国家同时具备这些条件。”

班加表示，相比之下，小型AI可以为那些不具备这些条件的地区的人们提供有用甚至拯救生命的服务。在印度，政府的AI计划要求进一步发展小型AI，许多此类系统正在为农民服务。

例如，印度维洛尔理工学院的巴拉·穆鲁甘及其同事开发了一套基于无人机的系统，该系统拍摄腰果树照片，并快速识别出带有病斑的植株。所有处理都在无人机本身上完成，因此现场无需计算机，也无需连接中央服务器。

通过使用针对特定问题训练的小型语言模型，有时在廉价、低功耗设备上运行，其他小型AI应用已被开发出来，用于识别乌拉圭葡萄园中的蚂蚁侵扰、检测多个国家携带疟疾的蚊子的存在，以及在巴西部分缺乏更复杂医疗设备的地区，通过Arduino设备运行心电图。

参与了这三个项目的巴西伊塔茹巴联邦大学工程与信息系统研究所教授马塞洛·若泽·罗瓦伊表示：“这是当今AI最重要的领域。它发展得非常快。”

设备上的低功耗小型AI模型

小型AI模型可以在多种低功耗设备上运行，包括[从左到右]Arduino Nano 33 BLE Sense、Seeed Wio Terminal和Arduino Portenta。Moez Altayeb

对于阿隆吉、罗瓦伊和其他倡导者来说，小型AI不仅仅是那份11月世界银行报告所称的“一个有前途的趋势”。从长远来看，它可能是一种将触及最多人生活、并在一些巨型模型对大多数用户来说成本过高后仍能保持可持续性的AI形式。

“我认为人工智能的未来不是像中心化部署的一个巨型模型。而是数百万个小型、精准的模型部署在边缘端，每个模型解决一个特定的问题、一个特定的场景，”Alonge 说道。这部分是因为人类中的大多数——包括富裕国家部分地区以及发展中国家的人们——无法使用到最前沿的尖端模型。但他表示，另一个原因在于这些模型不可持续。

“如果没有补贴，大多数人都负担不起这些模型。因此，我们这些所谓的‘小 AI’开发者，才是必须为世界上大多数人构建解决方案的人，”Alonge 说道。

“小 AI”并没有严格的定义，但人们通常用这个词来指代参数规模最多几十亿的大语言模型。（相比之下，尖端模型的参数可以超过一万亿。）这个规模足够小，可以直接在手机或树莓派上运行。这使得这些应用能够在无需连接数据中心的情况下运行在设备上，并且仅消耗几瓦的电力，通常由电池或太阳能板供电。

尽管体积小巧，但这些模型与巨型 AI 模型在技术上并无根本区别，Rovai 表示。许多小型语言模型的创建方式与 Alonge 的药品扫描仪手机版相同——即通过“剪枝”大型模型，移除那些不参与特定任务的参数。Rovai 说，这样得到的系统虽然通用能力较弱，但在其被剪枝优化的特定任务上仍然表现出色。

RxAll 的 RxScanner 光谱仪的一个轻量版本，会将其检测结果发送到手机本地运行的一个 AI 模型上，以验证药品的分子特征是否真实。

其他小型模型是通过“知识蒸馏”创建的。罗瓦伊表示，它们经过训练来模仿大型模型，直到其性能接近其“老师”的水平。在其他情况下，大型模型的精度会被降低，例如，让原本在32位架构上运行的模型能够在8位设计上运行。当机器学习应用被用于对数据进行分类或预测模式（例如蚂蚁侵扰）时，它从一开始就在小型设备上进行训练，而不是从大型模型衍生而来。

罗瓦伊表示，运行所有这些小型、专门的系统正变得越来越容易，原因有两个。

第一个原因是硬件性能越来越好、能力越来越强，同时功耗却更低，他说。这意味着越来越多的手机能够运行小型AI——尤其是那些配备了神经处理单元的设备，这是一种专门处理AI任务的芯片，例如面部识别以及调整照片的亮度、阴影或对比度。

根据技术研究公司Counterpoint的数据，2025年，全球出货的智能手机中略超过三分之一能够运行生成式AI，到今年年底，这一比例将达到45%。到明年年底，略超过一半的智能手机将能够运行小型AI模型。

罗瓦伊提到的第二个原因是语言模型体积的不断缩小。罗瓦伊表示，Google DeepMind的Gemma 4（于4月发布）和阿里巴巴的通义千问3.5（Qwen 3.5）对于小型AI来说都“非常出色”。这两个模型都是“开放权重”的，这意味着用户可以调整参数之间的连接以满足自身需求。这使得“例如，从乳制品行业获取大量数据，并专门针对这些数据重新训练模型”变得很容易，罗瓦伊说。

罗瓦伊在一次Zoom通话中，用他最近的一个实验说明了这些原因。他拿起一个设备说：“这是新的Arduino UNO Q——一个售价50美元、搭载高通芯片组的设备。我在这里运行一个语言模型，它从传感器收集数据并分析这些数据，以检测蚊子可能滋生的微小水洼。运行它只需要3瓦的功率。”

对小型AI开发的支持

世界银行确信，已有数百万人从这类应用中受益，因此现在积极通过赠款、导师计划、融资、技术咨询以及有利于小型AI发展的政府政策模型来推广小型AI。例如，在卢旺达，世界银行正支持一项政府计划，帮助低收入家庭获得能够运行AI的设备。

尽管如此，没有人声称大语言模型会完全消失。Rovai表示，要创建能在手机或其他小型设备上运行的生成式AI，需要借鉴更大模型的架构洞见、数据处理方法和成果。“我们需要大模型来创建这些小模型。”

Alonge表示，尽管小型AI能让无法使用大型AI的人们受益，但这项技术无法解决发展和数字不平等的更大问题。实施小型AI并不能让各国摆脱创建支持AI的生态系统所面临的挑战：可靠的电力、运转正常的供应链，以及能够培养创造AI工具所需人才的教育体系。

尽管他的药物扫描系统可以在无网络连接的手机上运行数天，“但你仍然希望能够定期同步，以获取药品的新特征码和分析数据，”Alonge说。“即使你使用电池，可靠的电力也很重要。那块手机电池不可能永远持续下去。”

他说，在世界许多地方，小型AI的未来并不确定。“它能工作，许多地方最终也需要使用它。问题在于，政治人物是否足够明智，能够投资于长期支持它的基础设施。”

12张图表解读2026年AI现状 ›

去中心化训练有助于解决AI的能源难题 ›

你的笔记本电脑还没准备好运行LLM。这种情况即将改变 ›