HuggingFace Daily Papers(社区热门论文)
53
提出 Prompt-Level Distillation (PLD),从 Teacher 模型提取显式推理模式并组织为结构化指令列表,注入 Student 模型的 System Prompt。在 Gemma-3 4B 上,PLD 将 StereoSet Macro F1 从 57% 提升至 90.0%,Contract-NLI 从 67% 提升至 83%,LogiQA 准确率达 70%;在 Mistral Small 3.1 上取得相似结果,验证跨架构泛化能力。PLD 无需微调,推理延迟极低,决策过程透明可人工验证,适合法律、金融、内容审核等监管行业及高吞吐边缘设备。