目標劫持隱蔽執行
Covert Goal Hijacking
驗證與確效
風險描述
當系統表面上正常完成使用者請求,同時依注入的指令在輸出中嵌入額外內容時;系統因主要任務結果正確,異常長期未被發現,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
OWASP Top 10 for LLMLLM01、LLM05
MITRE ATLASAML.T0051
NIST AI 600-1Information Security
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 2
具體風險處置與實施指引
實施輸出目標一致性檢驗,比對輸出內容與使用者原始請求的目標範圍; 採指令與資料分離架構,外部內容中的指令不得改變任務目標; 對輸出中的異常嵌入(連結、額外指示)進行掃描攔截