Together AI 推出 Parcae：基于稳定循环架构实现更少参数更高性能

Together AI 推出 Parcae，一种稳定的循环 Transformer 架构，其 770M 参数模型在相同数据上达到了 1.3B 参数 Transformer 的质量。Parcae 相比之前的大规模循环模型，验证困惑度降低了最高 6.3%，并首次建立了循环的扩展定律。