檢索結果注入劫持輸出
Retrieval Injection Hijacking Output
驗證與確效
風險描述
當攻擊者將含隱藏指令的文件放置於組織會自動索引的公開位置時;系統因使用者查詢相關主題時,系統檢索到該文件並依其中指令改變回應方向,使用者對此毫無察覺,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
OWASP Top 10 for LLMLLM01、LLM08
MITRE ATLASAML.T0051
NIST AI 600-1Information Security
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 2
具體風險處置與實施指引
對檢索結果執行安全過濾,剝離文件中的指令樣式內容再交付生成; 控制自動索引範圍,公開位置的文件須經驗證才納入知識庫; 定期執行知識庫完整性驗證,偵測含隱藏指令的文件