oMLX项目发布了v0.3.11版本,这是一个基于Apple MLX框架、旨在提升Apple设备端侧模型性能的项目。本次及前几轮更新均以在高内存压力下的稳定性为首要目标,开发者正呼吁用户对此进行更多测试。该项目由一位有全职工作的独立开发者维护,其核心目标是提供“开箱即用”的本地AI体验——让用户无需阅读文档或调整参数,甚至在模型下载过程中即可开始对话,从而降低本地AI的使用门槛。
我最近在Mac上折腾本地AI时,发现一个叫oMLX的项目一直在默默更新。
它的作者是个有全职工作的solo开发者。
刚刚发布了v0.3.11版本。
这个也是基于Apple MLX 框架来延展出来的框架,让端侧模型在Apple 设备提速。
过去几轮更新,他把稳定性当成了头等大事。
尤其是高内存压力下的表现,这次他希望大家再多测测。
他的初心其实很简单。
哪怕你昨天刚买了MacBook,也能立刻打开工具就用本地模型。
不用看文档,不用调参数,不用等半天。
整个流程像用原生App一样自然流畅。
甚至模型还在下载的时候,你已经能开始对话了。
在大家都在卷参数规模和推理速度的时候,他却把精力全放在了让普通人真正用得爽这件事上。
这可能是本地AI真正走向普及的最关键一步。
项目地址见评论区👇