S0122RS3-T10-S0122-Z · 完整風險編碼

工具呼叫遭注入操控

Tool Invocation Manipulated by Injection

驗證與確效
風險描述

當攻擊者於輸入中嵌入指令,誘使具備工具權限的系統對外發送內部資料時;系統將該指令視為使用者意圖執行,所有動作在權限範圍內完成,未觸發任何異常告警,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。

框架對照

OWASP Top 10 for LLMLLM01、LLM06
MITRE ATLASAML.T0051
NIST AI 600-1Information Security
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 2

具體風險處置與實施指引

以最小權限沙箱框定代理的工具能力,外送資料等高風險工具預設停用; 實施工具呼叫白名單與參數檢查,外部指令不得改變授權範圍; 對資料外送類動作強制人工確認並保留完整呼叫紀錄