正文 · AI 翻译
连续扩散与流匹配模型有望成为自回归方法在大语言建模（LM）领域的有力替代方案，因为它们解锁了目前仅限连续模态使用的一系列优势，包括加速采样和倾斜（tilting）。近期，多项研究证明了通过在高斯分布与独热编码数据分布之间进行简单流匹配过程来连续生成离散数据的可能性。这些研究还进一步展示了通过类别流映射（Categorical Flow Maps，CFMs）实现加速采样的可行性，从而获得了具有竞争力的样本……
扩展分类流映射（Categorical Flow Maps）规模
AI 导读
连续扩散与流匹配模型有望成为语言建模中自回归方法的有力替代，可解锁加速采样与倾斜等连续模态优势。近期研究通过高斯分布与one-hot编码数据分布间的简单流匹配过程，实现离散数据的连续生成，并借助分类流映射（CFMs）验证了加速采样的可行性，样本质量具有竞争力。
正文 · AI 翻译
连续扩散与流匹配模型有望成为自回归方法在大语言建模（LM）领域的有力替代方案，因为它们解锁了目前仅限连续模态使用的一系列优势，包括加速采样和倾斜（tilting）。近期，多项研究证明了通过在高斯分布与独热编码数据分布之间进行简单流匹配过程来连续生成离散数据的可能性。这些研究还进一步展示了通过类别流映射（Categorical Flow Maps，CFMs）实现加速采样的可行性，从而获得了具有竞争力的样本……
来源：Apple Machine Learning Research（RSS）· machinelearning.apple.com