Preference Model 团队开源 Karotte 框架用于构建更安全的强化学习环境

Preference Model 团队本周开源了 Karotte 框架，用于构建更安全、更抗攻击的强化学习环境。该框架已在生产环境中使用，具备防止模型绕过限制的功能，如终止异常进程和拒绝触发评分器崩溃的文件。其设计目标是帮助 AI 研究和 ML 工程领域提升模型训练质量，通过更复杂的任务和防御机制减少模型作弊和漏洞利用。