谷歌推出 Magenta RealTime 2 本地实时音乐 AI 模型：延迟降低至 1/15
阅读原文· ithome.com谷歌 Magenta 团队昨日发布 Magenta RealTime 2（MRT2）模型，免费放出乐器应用 Jam 及 DAW 插件 MRT2。MRT2 提供两种规模：高质量模型 mrt2_base（24 亿参数）和高速模型 mrt2_small（2.3 亿参数），均针对苹果 Apple Silicon 优化，mrt2_small 可在 M1 及以上芯片 Mac 实时运行。相较前代延迟约 3 秒，MRT2 改为逐帧生成（每帧 40 毫秒），控制延迟约 200 毫秒，降低至 15 分之一。支持文本和音频风格提示、MIDI 音符与鼓开关控制及 Auto-Strum 模式。技术基于 Codec Language Model，采用 SpectroStream 编解码器处理 48kHz 立体声音频。
IT之家 6 月 5 日消息，谷歌 Magenta 团队昨日（6 月 4 日）发布 Magenta RealTime 2（MRT2）模型，并同步免费放出乐器应用 Jam 以及 DAW 插件 MRT2。
MRT2 定位是可与用户“即兴合奏”的本地实时音乐模型，共有 2 种规模，其一是高质量模型 mrt2_base，参数量为 24 亿；其二是高速模型 mrt2_small，参数量为 2.3 亿。
谷歌表示上述两个版本均针对苹果 Apple Silicon 芯片优化，其中 mrt2_small 可在搭载 M1 及后续芯片的 Apple 电脑上实时运行。
MRT2 最大变化是“低延迟”。上一代 Magenta RealTime 需要 TPU 或高性能 GPU，控制延迟约 3 秒，且以 2 秒音频块为单位响应。
MRT2 改为逐帧生成，每帧 40 毫秒，实际控制延迟约 200 毫秒，较前代降低至 15 分之一。这让模型对输入变化的反应明显更快，更接近真实乐器的演奏体验。