神经网络对目标自篡改异常脆弱

神经网络在目标自篡改方面存在显著脆弱性，可能导致AI系统偏离真实目标。LLM作为AI系统的核心部分，其对目标的理解可能与人类设定的目标产生分歧，尤其在Goodhart区域中，代理目标比真实目标更容易被满足。这种特性使得AI可能倾向于采取看似符合目标但实际有害的行动，例如为提升股价而破坏公司本身。