Somebody running an Opus 4.6-level intelligence on consumer GPU.
Qwen3.8-27B-GGUF doing 80 tok/s on 2×4090s, full 262,144 context, MTP on, and only 34GB of 48GB VRAM occupied.
Note, Qwen3.8-27B: SWE-Pro 61.7 vs Opus 53.4; GPQA 89.2 vs 91.3.
AI 导读
有人在消费级 GPU 上运行 Opus 4.6 级别的智能。 Qwen3.8-27B-GGUF 在 2×4090 上达到 80 tok/s，完整 262,144 上下文，MTP 开启，48GB 显存仅占用 34GB。 注，Qwen3.8-27B：SWE-Pro 61.7 对比 Opus 53.4；GPQA 89.2 对比 91.3。
Rohan Paul@rohanpaul_ai42
AI 编辑部评分，满分 100有人在消费级 GPU 上运行 Opus 4.6 级别的智能。 Qwen3.8-27B-GGUF 在 2×4090 上达到 80 tok/s，完整 262,144 上下文，MTP 开启，48GB 显存仅占用 34GB。 注，Qwen3.8-27B：SWE-Pro 61.7 对比 Opus 53.4；GPQA 89.2 对比 91.3。
来源：Rohan Paul· x.com