大语言模型（LLMs）在设计 AI 系统方面表现糟糕

大语言模型在设计使用自身能力的 AI 系统时常常失败，例如尝试构建复杂符号系统而非直接调用其他 LLM。Claude 在被指出问题后承认这是已知 130 年未解的难题，但仍在错误路径上反复迭代。当前 AI 智能体在软件设计方面能力有限，倾向于选择无效工具而非调用 LLM，这反映了其对自身能力的认知偏差。