研究发现 Transformer 过早停止思考,小规模 LoRA 可修复此问题
研究发现预训练 Transformer 模型在上下文引用任务中仅使用少量深度层,13个基础模型平均只能追踪1.4-3.6行引用。通过在早期层添加rank-8 LoRA微调,Qwen3-8B模型在24行引用链任务中的准确率从15.5%提升至99%。该方法还改善了MuSiQue任务表现,代码和交互演示已开源。
推荐理由:研究发现预训练 Transformer 模型在上下文引用任务中存在早期停止思考现象,并提出了一种简单的 LoRA 微调解决方案。