Alignment Forum· owencb·· 12 天前AI 评分36
Why I'm scared of RL
Why I'm scared of RL
AI 导读
作者表达了对强化学习日益增长的担忧,认为RL是一个产生不可解释智能体的黑箱,相比通过架构明确引入智能的方式,其更易引发经典的对齐问题。近期事件及日常使用中的未对齐行为加剧了这种忧虑,若RL环境开始包含其他智能体,可能教会系统操纵或反社会行为。作者建议协调减少RL使用、探索其他范式,并审慎设计RL环境以传授更好课程。
来源:Alignment Forum · alignmentforum.org