間接提示注入劫持系統
Indirect Prompt Injection Hijacking the System
驗證與確效
風險描述
當組織的郵件處理助理讀取含隱藏指令的來信後,自動將內部資料轉寄至外部位址時;系統因使用者僅是正常收信,全程未察覺任何異常,事件經稽核紀錄比對才被發現,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
OWASP Top 10 for LLMLLM01
MITRE ATLASAML.T0051
NIST AI 600-1Information Security
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 2
具體風險處置與實施指引
對外部來源內容實施信任分級,郵件等不受信內容中的指令一律不作為系統指示執行; 部署隱藏內容偵測,辨識信件與文件中嵌入的指令樣式; 對自動轉寄等外流動作設定政策限制與人工確認,代理不得逕自對外發送內部資料