Together AI 研究：弱模型如何通过“分而治之”框架在长上下文任务中超越 GPT-4o

一项研究发现，采用精心设计的“分而治之”框架，Llama-3-70B 或 Qwen-72B 等较弱模型在长上下文任务上的表现可以匹配甚至超越 GPT-4o 的单次处理模式。该框架通过规划器、并行工作器和聚合管理器分解任务，有效降低了因上下文过长导致的模型混淆、任务依赖和聚合噪声。这种方法在问答、检索和摘要等任务中更具成本效益和速度优势，但高度依赖跨块上下文的任务仍适合使用单次处理的强大模型。