Apple 提出深度低秩残差蒸馏方法，在锁定预训练权重的同时实现模型压缩。该方法通过低秩残差结构蒸馏知识，避免直接修改原始权重，从而保留预训练模型的既有能力。研究展示了该方法在保持模型质量的同时，为开源权重模型的高效适配提供了新路径。