Fine-Tuning vs. Frozen Embeddings: 何时适配大语言模型 何时适配 Sklearn 头部

本文比较了使用 QLoRA 微调本地 LLM 与仅训练 scikit-learn 分类器的两种策略，分析了它们在训练时间和分类准确率上的差异。实验基于 Hugging Face 的 ag_news 数据集，采用 1.5B 参数的 Qwen2.5 模型，并通过 4-bit 量化配置加载。两种方法均适用于特定领域任务，但冻结嵌入向量结合传统分类器的方案在计算资源有限时更具优势。