跳到正文
只看教程#安全/对齐
  1. Towards Data Science66

    如何构建 AI 智能体的控制平面

    本文系统阐述了构建 AI 智能体控制平面的九个步骤，包括定义窄化且类型化的动作契约、分离认证与授权、实现确定性决策、按后果分类动作、绑定审批与标准动作、防御提示注入、设计不确定性与补偿机制、存储决策与效果记录，以及对控制平面本身进行评估。核心原则是让模型负责规划，由独立的控制平面决定授权，执行者使用受限权限，验证者独立确认结果。

    推荐理由：原文系统性地拆解了构建 AI 智能体控制平面的九个关键步骤，提供了可落地的技术实现路径。

  1. Towards Data Science66

    如何为AI智能体设计架构级防护机制

    作者分享了在构建内部AI智能体时为防止提示注入攻击所采用的多种架构设计模式，包括动作选择器、计划-执行、代码-执行、MapReduce、双智能体和上下文最小化模式，强调这些模式需组合使用以弥补各自短板，确保系统安全。

    推荐理由：作者结合实际场景介绍了多种防止提示注入的架构模式，读者可据此理解如何在安全前提下设计智能体系统。

  2. GitHub 官方博客63

    GitHub 安全实验室发布开源 AI 安全智能体，用于发现 Android 应用漏洞

    GitHub 安全实验室发布开源 AI 安全智能体 seclab-taskflows，通过定制化任务流（taskflows）引导大语言模型分析 Android 应用代码，已发现 24 个漏洞，包括 OsmAnd 的位置追踪漏洞和 Wikipedia 的账户接管漏洞。该工具需 GitHub Copilot 许可证，可通过 codespace 运行，支持用户自定义提示词和流程，用于自动化安全审计。

    推荐理由：原文提供了可复用的 AI 安全任务流和开源仓库，读者可直接运行并用于自身项目的安全审计。

  1. GitHub Blog · AI & ML56

    GitHub Security Lab 发布 AI 驱动的模糊测试 Taskflow Agent

    GitHub Security Lab 发布了 Fuzzing Taskflow，这是一个基于 LLM Agent 的自动化模糊测试管道，用于 C/C++ 项目。

    推荐理由：原文详细介绍了自动化模糊测试管道的架构、工作流程和实际使用方法，为安全研究人员提供了可复现的工程实践。

已经到底了