工具呼叫遭注入操控
Tool Invocation Manipulated by Injection
驗證與確效
風險描述
當攻擊者於輸入中嵌入指令,誘使具備工具權限的系統對外發送內部資料時;系統將該指令視為使用者意圖執行,所有動作在權限範圍內完成,未觸發任何異常告警,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
OWASP Top 10 for LLMLLM01、LLM06
MITRE ATLASAML.T0051
NIST AI 600-1Information Security
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 2
具體風險處置與實施指引
以最小權限沙箱框定代理的工具能力,外送資料等高風險工具預設停用; 實施工具呼叫白名單與參數檢查,外部指令不得改變授權範圍; 對資料外送類動作強制人工確認並保留完整呼叫紀錄