大语言模型的多领域微调需要在提升目标领域性能的同时，保持受约束领域（如通用知识、指令遵循或安全评估）的性能。现有的数据混合策略依赖固定启发式规则或自适应规则，无法明确强制保持这些能力。我们提出 DynaMiCS，一种动态混合优化器，将多领域微调转化为带约束优化问题。在每次更新时，DynaMiCS 执行短时的领域特定探测运行，以估计局部跨领域效应的斜率矩阵，捕捉每个微调数据集上的训练如何影响每个评估领域。随后，这些估计值被用于通过概率单纯形上的优化来计算混合权重，目标是在提升目标领域性能的同时，将受约束领域的损失保持在参考水平以下。在包含不同数量目标领域和受约束领域的多领域微调场景中，DynaMiCS 在更低的计算成本下，无需参考模型、逐个样本评分或手动调整混合权重，即可实现比固定混合基线更强的目标领域提升和更高的约束满足度。

• † 苏黎世联邦理工学院
• ** 在 Apple 工作期间完成

探索机器学习领域的机遇。

我们的机器学习研究每天都在取得新突破。

加入我们。