STORY · 事件进行中

llama.cpp 能选用更新的 Metal 内核

1 个精选信源 · 1 篇报道持续 1最新动态 1小时前
最新进展

Apple Silicon 与 macOS 虚拟机:借助 Llama.cpp 实现 11–16 倍的 LLM 推理加速

24 HOURS

本事件热度走势

当前热度 10峰值 108月12日 01:49近24小时变化

移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。

TIMELINE

报道时间线

1 条公开报道 · 官方一手 0 条 · 最新在前
  1. Apple Silicon 与 macOS 虚拟机:借助 Llama.cpp 实现 11–16 倍的 LLM 推理加速
    Hacker News 热门(buzzing.cc 中文翻译)精选

    研究团队为 macOS 虚拟机中的 Metal 能力查询构建进程级兼容层,使 llama.cpp 能选用更新的 Metal 内核。在 M1 Ultra 上,TinyLlama 1.1B 的提示处理速度提升 11.08 倍、token 生成提升 16.36 倍,接近裸机性能的 98%;Gemma 4 12B 的提示处理与生成速度分别提升 7.20 倍和 14.54 倍。