TTFT（首 Token 时间）是推理中引用最多的延迟指标之一。 但 TTFT 真的重要吗，还是它是技术栈中最被高估的指标？ 真正的轴不是“快”。而是交互性（tok/s/user）与吞吐量（tok/s/GPU）。(1/3)🧵
SemiAnalysis@SemiAnalysis_TTFT（首 Token 时间）是推理中引用最多的延迟指标之一。 但 TTFT 真的重要吗，还是它是技术栈中最被高估的指标？ 真正的轴不是“快”。而是交互性（tok/s/user）与吞吐量（tok/s/GPU）。(1/3)🧵
TTFT (time-to-first-token) is one of the most-quoted latency numbers in inference.
But does TTFT actually matter, or is it the most overrated metric in the stack?
The real axis isn't "fast." It's interactivity (tok/s/user) vs throughput (tok/s/GPU). (1/3)🧵
来源：SemiAnalysis· x.com