苹果下月WWDC将重点展示延迟已久的Siri及设备端AI升级，核心是在iPhone芯片本地运行从Google Gemini蒸馏而来的更小模型，以强调隐私与降低token成本。但该技术栈大部分源自外部：本地模型由Gemini蒸馏，设备无法处理的复杂查询将路由至Google Cloud处理，并采用了Nvidia的机密计算技术。苹果据称正在寻觅小型设备端AI初创公司以加速模型缩减工作。此外，苹果2024年承诺的Private Cloud Compute方案原计划使用苹果芯片，因无法承载完整Gemini模型，现已部分转向谷歌云，但该名称仍将保留。
Chubby♨️@kimmonismus苹果下月WWDC将重点展示延迟已久的Siri及设备端AI升级，核心是在iPhone芯片本地运行从Google Gemini蒸馏而来的更小模型，以强调隐私与降低token成本。但该技术栈大部分源自外部：本地模型由Gemini蒸馏，设备无法处理的复杂查询将路由至Google Cloud处理，并采用了Nvidia的机密计算技术。苹果据称正在寻觅小型设备端AI初创公司以加速模型缩减工作。此外，苹果2024年承诺的Private Cloud Compute方案原计划使用苹果芯片，因无法承载完整Gemini模型，现已部分转向谷歌云，但该名称仍将保留。
苹果Siri的救命稻草原来是Gemini，更扎心的是那些‘离开iPhone的查询’现在跑在Google Cloud上，Private Cloud Compute只剩个名字，做端侧推理和隐私计算的同行该注意风向变了。
苹果AI迎来有趣更新：随着苹果全球开发者大会下月开幕，长期延迟的Siri及端侧AI升级预计将成为重头戏--一款经过蒸馏的轻量版Google Gemini将在iPhone芯片上本地运行，主打隐私保护和更低的模型token成本。
这套技术栈大部分来自外部。本地模型是从Gemini蒸馏而来。对于设备难以承载的查询，则会路由至Google Cloud（注意！），苹果现已批准使用Nvidia的机密计算技术来处理这些请求。据报道，苹果还在寻找小型端侧AI初创公司以加快模型压缩工作，已考察了包括Liquid AI在内的多家企业。
与2024年发布时相比，一个悄然发生的变化是：苹果当时承诺，任何离开iPhone的数据都将在私有云计算（Private Cloud Compute）中的苹果芯片上处理。但苹果无法让完整的Gemini在那里运行，因此这些查询如今被置于Google Cloud中。不过"私有云计算"这个名称仍被保留。消息来源：The Information。