A (popcorn) kernel is a specialized seed from a variety of corn that can burst open and turn inside out when heated. A kernel is also a few hundred lines of GPU code that executes the math and attention op in an LLM. A GPU only delivers its paper FLOPS if kernel keeps the tensor cords fed. Sloppy memory access patterns results in silicon that sits idle. At OpenAI's serving scale, single digit % kernel gains are hundreds of millions in compute. (1/2)🧵
AI 导读
SemiAnalysis 发推解释 kernel 的双重含义：爆米花玉米粒，以及执行 LLM 数学与 attention 算子的几百行 GPU 代码。原文指出只有 kernel 持续喂满 tensor core，GPU 才能跑出纸面 FLOPS，糟糕的内存访问模式会让芯片闲置；在 OpenAI 的服务规模下，个位数百分比的 kernel 提升就意味着数亿美元的算力。该推文标注为系列第 1/2 条。
SemiAnalysis@SemiAnalysis_27
AI 编辑部评分，满分 100SemiAnalysis 发推解释 kernel 的双重含义：爆米花玉米粒，以及执行 LLM 数学与 attention 算子的几百行 GPU 代码。原文指出只有 kernel 持续喂满 tensor core，GPU 才能跑出纸面 FLOPS，糟糕的内存访问模式会让芯片闲置；在 OpenAI 的服务规模下，个位数百分比的 kernel 提升就意味着数亿美元的算力。该推文标注为系列第 1/2 条。
来源：SemiAnalysis· x.com