AI真的能编辑音频,而不仅仅是生成音频吗?🎧
腾讯混元与上海交通大学、SII、南洋理工大学、同济大学、ZODA、北京大学、复旦大学及其他合作方共同推出MMAE。
MMAE--大规模多任务音频编辑基准(Massive Multitask Audio Editing Benchmark),是首个针对语音和音频"香蕉🍌"的全面评估基准。
它不仅要求AI"生成"音频,而是要求AI理解现有的音频片段,并根据自然语言指令精确修改它--改变需要改变的部分,同时保持其余部分不变。
当前模型在精确匹配率(EMR)上低于5%,暴露出可靠音频编辑方面的一个重大差距。
MMAE包含: ✅ 来自真实场景的2,000个高保真样本 ✅ 17,741个细粒度评分评估项 ✅ 7种模态设置,涵盖声音、音乐、语音及其混合 ✅ 6种任务复杂度,从基本修改到多跳推理和多轮编辑 ✅ 8种操作类型,涵盖局部和全局粒度
使用方法: arXiv: http://arxiv.org/abs/2606.07229 GitHub: https://github.com/ddlBoJack/MMAE HuggingFace: https://huggingface.co/datasets/BoJack/MMAE Demo: https://youtu.be/6At5nTWhlXI