Yuchen Jin · @Yuchenj_UW · X·2026-08-19 08:36·17天前
AI 导读

DFlash 2 太酷了! 投机解码真是项很酷的技术。 我在等有一天能在 iPhone 上以 100 toks/s 的速度本地运行 1T 模型。 [引用 @zhijianliu_]:DFlash 2 来了!Qwen3.8-27B 在 M5 Max MacBook Pro 上达到 70 tok/s。 ⚡ 速度最高可达自回归解码的 4.6 倍,输出结果相同。 这是 DFlash 的下一代版本,源自 Z Lab,在 Inco AI 升级。每次解码多接受一个 token,完全免费! https://inco.ai/blog/dflash2/

Yuchen Jin@Yuchenj_UW
25AI 编辑部评分,满分 100
2026-08-19 08:36· 17天前
AI 导读

DFlash 2 太酷了! 投机解码真是项很酷的技术。 我在等有一天能在 iPhone 上以 100 toks/s 的速度本地运行 1T 模型。 [引用 @zhijianliu_]:DFlash 2 来了!Qwen3.8-27B 在 M5 Max MacBook Pro 上达到 70 tok/s。 ⚡ 速度最高可达自回归解码的 4.6 倍,输出结果相同。 这是 DFlash 的下一代版本,源自 Z Lab,在 Inco AI 升级。每次解码多接受一个 token,完全免费! https://inco.ai/blog/dflash2/

DFlash 2 is very cool!

Speculative decoding is such a cool technology.

I’m waiting for the day we can run a 1T model locally at 100 toks/s on an iPhone.

Zhijian LiuDFlash 2 is here! Qwen3.8-27B at 70 tok/s on an M5 Max MacBook Pro. ⚡ Up to 4.6× the speed of autoregressive decoding, with the same output. This is the next ge...