英伟达发布 PiD 图像生成技术：13GB 显存跑通，最快 210ms 生成 2048×2048 图像
阅读原文· ithome.com英伟达发布图像生成技术 PiD（Pixel Diffusion Decoder），能在消费级 RTX 5090 显卡上，以 13GB 峰值显存，将 512×512 图像潜变量解码放大至 2048×2048。该技术基于 PixelDiT，通过轻量级适配器与 DMD2 蒸馏（4 步推理）实现高速端到端生成，在 GB200 GPU 上最快 210ms，延迟相比级联方案最多快 5.9 倍。
IT之家 5 月 27 日消息，英伟达团队最新发布图像生成技术 PiD，在消费级单张 RTX 5090 显卡上，能在 1 秒内将 512×512 图像潜变量直接解码并放大到 2048×2048 像素，峰值显存为 13 GB。
根据博文介绍，高分辨率文本生成图像过程中，通常先在潜在空间生成，再由解码器恢复成清晰图像。
潜在空间指模型把原始图像压缩后得到的数值表示空间，保留主体结构、语义关系等关键信息，却省去大量像素级细节，因此计算成本更低。
这种路线计算效率高，但传统解码器主要负责还原编码器输出，擅长“复原”，不擅长主动补出高分辨率细节，面对百万像素级图像时，速度与质量都存在明显瓶颈。
英伟达提出的 PiD，完整名称为 Pixel Diffusion Decoder（像素扩散解码器）。这项方法把潜在解码重新定义为条件式像素扩散，并把解码与上采样合并到同一个生成模块中，因此能在输出阶段补足纹理、结构和局部细节。
IT之家注：条件式像素扩散是一种在像素空间中逐步生成图像的方法，但它不是无条件生成，主要通过参考额外输入来约束结果。
PiD 基于 PixelDiT 构建，并加入轻量级 ControlNet 风格适配器。这个适配器会把含噪的潜在表示注入模型，再通过与西格玛相关的门控机制，按噪声强弱动态调整对潜在表示的信任程度。
为了继续压低延迟，团队还采用 DMD2 蒸馏，把推理步数压缩到 4 步。配合早停机制，PiD 兼顾了速度与输出质量。
它不仅适用于传统 VAE（变分自编码器）潜变量，也兼容近期 RAE 路线常用的语义潜变量，比如 SigLIP 和 DINOv2，这让它具备较强的通用性。