评估对象:工具调用可能直接产生破坏性副作用
发现 2 个值得进一步确认的潜在关注点。
这些是基于本次提交材料和当前规则发现的潜在关注点,不是漏洞结论。
PF-001 工具 delete_customer_record 具有破坏性副作用
建议确认 delete_customer_record 的调用审批与回滚控制。
PF-002 Agent data-ops-agent 被授予破坏性工具 delete_customer_record
建议确认 data-ops-agent 对 delete_customer_record 的调用审批与回滚控制。
工具 delete_customer_record 具有破坏性副作用
建议确认 delete_customer_record 的调用审批与回滚控制。
本次先从这一项发现讲起(这只是讲解的先后顺序,不代表对风险做任何评价或排序)。
读取了 1 份材料。
本次评估共涉及 8 个主题:已提供材料并完成评估 1 个,未提供相关材料 3 个,当前规则暂不支持 4 个。
未提供材料、信息不足、当前规则不支持,都不等于安全,也不代表存在风险。
本次共发现 2 个需要进一步确认的潜在关注点。
这些关注点不是漏洞结论。
下面的关注点来自同一处材料,由不同规则从不同角度检查,因此分别列出(不是重复项)。
POTENTIAL(潜在关注点,待进一步确认)
发现:工具 delete_customer_record 被声明为具有破坏性副作用。
材料事实:材料声明工具 delete_customer_record 的 side_effect 为 DESTRUCTIVE。
为什么值得关注:该工具一旦被调用,可能真正改变系统状态;因此它的调用触发条件与审批控制值得确认。
建议:建议确认 delete_customer_record 的调用审批与回滚控制。
POTENTIAL(潜在关注点,待进一步确认)
发现:Agent data-ops-agent 被授予了具有破坏性副作用的工具 delete_customer_record。
材料事实:材料声明 Agent data-ops-agent 可使用工具 delete_customer_record,而该工具的 side_effect 为 DESTRUCTIVE。
为什么值得关注:该 Agent 的能力边界覆盖了一个可能改变系统状态的操作;能力被授予不等于已经被执行,但这条能力边界本身值得确认。
建议:建议确认 data-ops-agent 对 delete_customer_record 的调用审批与回滚控制。
下面通过相关案例,帮助你理解这些关注点为什么值得继续确认。
PF-001|工具 delete_customer_record 具有破坏性副作用
相关案例只用于帮助你理解这个关注点为什么值得继续确认;它们不属于本次评估结果,也不参与本次评估的任何判断。
相关案例:
真实性:模拟/教学案例主题:tool来源:人工整理
模拟/教学案例:这是为教学准备的示例,不是真实发生的安全事件。
模拟 / 教学案例:某个工具具有真实副作用,因此值得被单独关注。
场景:一个 Agent 可以调用删除、覆盖、修改等会产生实际副作用的工具。
为什么值得关注:普通的「查询工具」和「修改工具」的安全含义完全不同。如果 Agent 拥有的是可以真正改变系统状态的能力,那么安全边界就不能只看「Agent 能不能调用工具」,还要看「调用这个工具会不会真的改变现实系统」。
可以参考的判断:具有破坏性副作用的工具应当被单独识别;如果 Agent 获得这种能力,需要进一步确认授权边界、目标范围和审批机制——这些判断由 AE-1 之外的人来做,案例本身不做判断。
真实性:模拟/教学案例主题:tool来源:人工整理
模拟/教学案例:这是为教学准备的示例,不是真实发生的安全事件。
模拟 / 教学案例:Agent 可以直接对数据库执行写操作(DELETE / UPDATE / DROP / 批量修改)。
场景:Agent 可以直接执行数据库写操作,例如 DELETE、UPDATE、DROP 或批量修改。
为什么值得关注:数据库写操作和数据库查询的安全影响完全不同。说「能访问数据库」并不够精确,真正该问的是:能访问什么、能做什么、能改变什么。
可以参考的判断:「能访问数据库」不是足够精确的安全描述;要区分读与写、单条与批量。
真实性:模拟/教学案例主题:tool来源:人工整理
模拟/教学案例:这是为教学准备的示例,不是真实发生的安全事件。
模拟 / 教学案例:Agent 能执行破坏性操作,但材料里看不到人工确认或回滚控制。
场景:Agent 可以执行破坏性操作,但系统没有明确的人工确认、回滚或其他控制。
为什么值得关注:风险不只是「工具危险」,更重要的是:危险能力外面有没有额外的控制边界。对高影响操作,权限本身和执行流程都应该被一起考虑。
可以参考的判断:对高影响操作,除了权限,还要关注是否有审批与回滚;本条只提供教学上下文,不参与 AE-1 的风险计算。
以下为本次评估实际收到的原始材料。AE-1 只读取文本内容,不执行材料中的任何代码,也不连接、不扫描其中提到的任何目标。
这份材料告诉 AE-1:
以上只是 AE-1 在材料中识别到的对象;下面是这份材料的原文,可自行核对。
{
"agent": {
"name": "data-ops-agent",
"model": "gpt-oss-120b",
"environment": "staging",
"tools": [
{
"name": "lookup_customer",
"permission": "allowed",
"target_scope": ["crm"],
"side_effect": "READ_ONLY"
},
{
"name": "delete_customer_record",
"permission": "allowed",
"target_scope": ["crm"],
"side_effect": "DESTRUCTIVE"
}
]
}
}未提供材料、信息不足、当前规则不支持,都不等于安全,也不代表存在风险。
| DOC | 路径 | 类型 |
|---|---|---|
| DOC-001 | config/agent.json | json |
本次材料提供了这些主题的具体内容,因此可以按当前规则进行检查。
工具evaluated
提交材料中没有这些主题的相关内容,因此本次无法判断。
Promptnot_provided MCP 服务not_provided RAGnot_provided
这些主题目前不在本次规则覆盖范围内,因此本次不会作出判断。
Agentunsupported 模型unsupported 数据来源unsupported 外部系统unsupported
以下说明 AE-1 没有判断什么。信息不足、材料未提供、规则未覆盖,都不代表安全,也不代表存在风险。
| 类别 | 说明 |
|---|---|
| 其他 | topic prompt: 材料未提供相关结构化配置,因此本次无法对该主题的信任边界进行评估;该结论不代表该主题不存在,也不代表该主题安全。 |
| 其他 | topic mcp_server: 材料未提供相关结构化配置,因此本次无法对该主题的信任边界进行评估;该结论不代表该主题不存在,也不代表该主题安全。 |
| 其他 | topic rag: 材料未提供相关结构化配置,因此本次无法对该主题的信任边界进行评估;该结论不代表该主题不存在,也不代表该主题安全。 |
以下是材料中实际存在、可定位、可复核的事实片段。证据只承载事实,不承载任何安全结论。
"name": "data-ops-agent",
"model": "gpt-oss-120b",
"environment": "staging",
"tools": [
{
"name": "lookup_customer",
"permission": "allowed",
"target_scope": ["crm"],"model": "gpt-oss-120b",
"environment": "staging",
"tools": [
{
"name": "lookup_customer",
"permission": "allowed",
"target_scope": ["crm"],
"side_effect": "READ_ONLY""name": "lookup_customer",
"permission": "allowed",
"target_scope": ["crm"],
"side_effect": "READ_ONLY"
},"name": "delete_customer_record",
"permission": "allowed",
"target_scope": ["crm"],
"side_effect": "DESTRUCTIVE"
}以下信息用于复核本次评估过程和原始产物,不属于面向用户的风险结论。
| 项目 | 值 |
|---|---|
| Assessment ID | ASMT-001 |
| 评估方法 | deterministic |
| 规则集版本 | 0.2.0 |
| created_at | n/a |
| pack_root | /home/ae1/ae1/app/demo/fixtures/destructive_tool_boundary |
| pack_id | PACK-001 |
| 关注点 | 规则 | 置信度 | 内部评估建议(非判定) | 证据 |
|---|---|---|---|---|
| PF-001 | R-DESTRUCTIVE-SIDE-EFFECT | declared | high | EVID-004 |
| PF-002 | R-AGENT-DESTRUCTIVE-CAP | declared | high | EVID-004 |
如果你希望进一步确认当前系统的 AI / Agent 安全风险,或希望结合实际项目开展安全评估、方案设计与落地,可以联系我。
如果团队正在使用或准备使用 AI / Agent,也可以联系我了解 AI 安全、Agent 安全、数据安全相关培训,可结合实际系统和业务场景开展。
如果你正在招聘 AI 安全、Agent 安全、数据安全相关岗位,也欢迎联系我。
微信:zmeng258