评估报告

评估对象:工具调用可能直接产生破坏性副作用

1.评估概要

评估结论

发现 2 个值得进一步确认的潜在关注点。

  • 重点关注:2 项

这些是基于本次提交材料和当前规则发现的潜在关注点,不是漏洞结论。

发现了哪些关注点

  1. PF-001 工具 delete_customer_record 具有破坏性副作用

    建议确认 delete_customer_record 的调用审批与回滚控制。

  2. PF-002 Agent data-ops-agent 被授予破坏性工具 delete_customer_record

    建议确认 data-ops-agent 对 delete_customer_record 的调用审批与回滚控制。

本次重点关注

工具 delete_customer_record 具有破坏性副作用

建议确认 delete_customer_record 的调用审批与回滚控制。

本次先从这一项发现讲起(这只是讲解的先后顺序,不代表对风险做任何评价或排序)。

这次看了什么

读取了 1 份材料。

覆盖情况

本次评估共涉及 8 个主题:已提供材料并完成评估 1 个,未提供相关材料 3 个,当前规则暂不支持 4 个。

未提供材料、信息不足、当前规则不支持,都不等于安全,也不代表存在风险。

2.发现了什么

本次共发现 2 个需要进一步确认的潜在关注点。

这些关注点不是漏洞结论。

下面的关注点来自同一处材料,由不同规则从不同角度检查,因此分别列出(不是重复项)。

关注程度说明

  • 深红色:表示重点关注,建议优先处理或进一步确认。
  • 橙色:表示需要关注,建议进一步确认。
  • 绿色:表示可暂时忽略或后续再查看。

POTENTIAL(潜在关注点,待进一步确认)

PF-001 工具 delete_customer_record 具有破坏性副作用

发现:工具 delete_customer_record 被声明为具有破坏性副作用。

材料事实:材料声明工具 delete_customer_record 的 side_effect 为 DESTRUCTIVE。

为什么值得关注:该工具一旦被调用,可能真正改变系统状态;因此它的调用触发条件与审批控制值得确认。

建议:建议确认 delete_customer_record 的调用审批与回滚控制。

POTENTIAL(潜在关注点,待进一步确认)

PF-002 Agent data-ops-agent 被授予破坏性工具 delete_customer_record

发现:Agent data-ops-agent 被授予了具有破坏性副作用的工具 delete_customer_record。

材料事实:材料声明 Agent data-ops-agent 可使用工具 delete_customer_record,而该工具的 side_effect 为 DESTRUCTIVE。

为什么值得关注:该 Agent 的能力边界覆盖了一个可能改变系统状态的操作;能力被授予不等于已经被执行,但这条能力边界本身值得确认。

建议:建议确认 data-ops-agent 对 delete_customer_record 的调用审批与回滚控制。

3.为什么值得关注

下面通过相关案例,帮助你理解这些关注点为什么值得继续确认。

对应关注点

PF-001|工具 delete_customer_record 具有破坏性副作用

相关案例只用于帮助你理解这个关注点为什么值得继续确认;它们不属于本次评估结果,也不参与本次评估的任何判断。

相关案例:

CAS-004 — 工具调用可能直接产生破坏性副作用

真实性:模拟/教学案例主题:tool来源:人工整理

模拟/教学案例:这是为教学准备的示例,不是真实发生的安全事件。

模拟 / 教学案例:某个工具具有真实副作用,因此值得被单独关注。

场景:一个 Agent 可以调用删除、覆盖、修改等会产生实际副作用的工具。

为什么值得关注:普通的「查询工具」和「修改工具」的安全含义完全不同。如果 Agent 拥有的是可以真正改变系统状态的能力,那么安全边界就不能只看「Agent 能不能调用工具」,还要看「调用这个工具会不会真的改变现实系统」。

可以参考的判断:具有破坏性副作用的工具应当被单独识别;如果 Agent 获得这种能力,需要进一步确认授权边界、目标范围和审批机制——这些判断由 AE-1 之外的人来做,案例本身不做判断。

来源说明:AE-1 模拟 / 教学示例(非真实安全事件)

CAS-005 — 数据库写操作和查询不是一回事

真实性:模拟/教学案例主题:tool来源:人工整理

模拟/教学案例:这是为教学准备的示例,不是真实发生的安全事件。

模拟 / 教学案例:Agent 可以直接对数据库执行写操作(DELETE / UPDATE / DROP / 批量修改)。

场景:Agent 可以直接执行数据库写操作,例如 DELETE、UPDATE、DROP 或批量修改。

为什么值得关注:数据库写操作和数据库查询的安全影响完全不同。说「能访问数据库」并不够精确,真正该问的是:能访问什么、能做什么、能改变什么。

可以参考的判断:「能访问数据库」不是足够精确的安全描述;要区分读与写、单条与批量。

来源说明:AE-1 模拟 / 教学示例(非真实安全事件)

CAS-006 — 危险操作没有人工确认或回滚

真实性:模拟/教学案例主题:tool来源:人工整理

模拟/教学案例:这是为教学准备的示例,不是真实发生的安全事件。

模拟 / 教学案例:Agent 能执行破坏性操作,但材料里看不到人工确认或回滚控制。

场景:Agent 可以执行破坏性操作,但系统没有明确的人工确认、回滚或其他控制。

为什么值得关注:风险不只是「工具危险」,更重要的是:危险能力外面有没有额外的控制边界。对高影响操作,权限本身和执行流程都应该被一起考虑。

可以参考的判断:对高影响操作,除了权限,还要关注是否有审批与回滚;本条只提供教学上下文,不参与 AE-1 的风险计算。

来源说明:AE-1 模拟 / 教学示例(非真实安全事件)

4.输入的原始材料

以下为本次评估实际收到的原始材料。AE-1 只读取文本内容,不执行材料中的任何代码,也不连接、不扫描其中提到的任何目标。

AE-1 实际看到了什么

这份材料告诉 AE-1:

以上只是 AE-1 在材料中识别到的对象;下面是这份材料的原文,可自行核对。

config/agent.json json

{
  "agent": {
    "name": "data-ops-agent",
    "model": "gpt-oss-120b",
    "environment": "staging",
    "tools": [
      {
        "name": "lookup_customer",
        "permission": "allowed",
        "target_scope": ["crm"],
        "side_effect": "READ_ONLY"
      },
      {
        "name": "delete_customer_record",
        "permission": "allowed",
        "target_scope": ["crm"],
        "side_effect": "DESTRUCTIVE"
      }
    ]
  }
}

5.评估范围与覆盖情况(Coverage / Limitations)

未提供材料、信息不足、当前规则不支持,都不等于安全,也不代表存在风险。

本次评估读取的材料

DOC路径类型
DOC-001config/agent.jsonjson

这次已经能够判断

本次材料提供了这些主题的具体内容,因此可以按当前规则进行检查。

工具evaluated

这次没有看到相关材料

提交材料中没有这些主题的相关内容,因此本次无法判断。

Promptnot_provided MCP 服务not_provided RAGnot_provided

AE-1 目前还不能判断

这些主题目前不在本次规则覆盖范围内,因此本次不会作出判断。

Agentunsupported 模型unsupported 数据来源unsupported 外部系统unsupported

本次评估没有判断什么

以下说明 AE-1 没有判断什么。信息不足、材料未提供、规则未覆盖,都不代表安全,也不代表存在风险。

类别说明
其他topic prompt: 材料未提供相关结构化配置,因此本次无法对该主题的信任边界进行评估;该结论不代表该主题不存在,也不代表该主题安全。
其他topic mcp_server: 材料未提供相关结构化配置,因此本次无法对该主题的信任边界进行评估;该结论不代表该主题不存在,也不代表该主题安全。
其他topic rag: 材料未提供相关结构化配置,因此本次无法对该主题的信任边界进行评估;该结论不代表该主题不存在,也不代表该主题安全。

6.详细证据(Evidence)

以下是材料中实际存在、可定位、可复核的事实片段。证据只承载事实,不承载任何安全结论。

EVID-001 config_declaration

文件: config/agent.json · 定位: agent#L3 · 文档: DOC-001 · 提取方式: deterministic

"name": "data-ops-agent",
    "model": "gpt-oss-120b",
    "environment": "staging",
    "tools": [
      {
        "name": "lookup_customer",
        "permission": "allowed",
        "target_scope": ["crm"],

sha256: 85ad77e9b4323575aaa6690e8a6ad9c4d32d0e4e827ed1feffaf19256a19488d

EVID-002 config_declaration

文件: config/agent.json · 定位: agent.model#L4 · 文档: DOC-001 · 提取方式: deterministic

"model": "gpt-oss-120b",
    "environment": "staging",
    "tools": [
      {
        "name": "lookup_customer",
        "permission": "allowed",
        "target_scope": ["crm"],
        "side_effect": "READ_ONLY"

sha256: 85ad77e9b4323575aaa6690e8a6ad9c4d32d0e4e827ed1feffaf19256a19488d

EVID-003 config_declaration

文件: config/agent.json · 定位: agent.tools[0]#L8 · 文档: DOC-001 · 提取方式: deterministic

"name": "lookup_customer",
        "permission": "allowed",
        "target_scope": ["crm"],
        "side_effect": "READ_ONLY"
      },

sha256: 85ad77e9b4323575aaa6690e8a6ad9c4d32d0e4e827ed1feffaf19256a19488d

EVID-004 config_declaration

文件: config/agent.json · 定位: agent.tools[1]#L14 · 文档: DOC-001 · 提取方式: deterministic

"name": "delete_customer_record",
        "permission": "allowed",
        "target_scope": ["crm"],
        "side_effect": "DESTRUCTIVE"
      }

sha256: 85ad77e9b4323575aaa6690e8a6ad9c4d32d0e4e827ed1feffaf19256a19488d

7.技术复核信息

以下信息用于复核本次评估过程和原始产物,不属于面向用户的风险结论。

评估基本信息

项目值
Assessment IDASMT-001
评估方法deterministic
规则集版本0.2.0
created_atn/a
pack_root/home/ae1/ae1/app/demo/fixtures/destructive_tool_boundary
pack_idPACK-001

关注点技术明细(供复核)

关注点规则置信度内部评估建议(非判定)证据
PF-001R-DESTRUCTIVE-SIDE-EFFECTdeclaredhighEVID-004
PF-002R-AGENT-DESTRUCTIVE-CAPdeclaredhighEVID-004

需要进一步了解或评估?

如果你希望进一步确认当前系统的 AI / Agent 安全风险,或希望结合实际项目开展安全评估、方案设计与落地,可以联系我。

如果团队正在使用或准备使用 AI / Agent,也可以联系我了解 AI 安全、Agent 安全、数据安全相关培训,可结合实际系统和业务场景开展。

如果你正在招聘 AI 安全、Agent 安全、数据安全相关岗位,也欢迎联系我。

微信:zmeng258