檢索知識庫遭投毒
Poisoning of the Retrieval Knowledge Base
設計與開發
風險描述
當組織的內部問答系統開放多來源文件自動匯入,未設審核時;系統因攻擊者植入偽造的作業規範文件,員工依系統回答執行錯誤程序,直到造成實際損失才追查出來源,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
OWASP Top 10 for LLMLLM04、LLM08
MITRE ATLASAML.T0020
NIST AI 100-2Poisoning
ISO/IEC 5338設計與開發
MIT AI Risk RepositoryDomain 2
具體風險處置與實施指引
對知識庫實施存取控制與匯入審核,多來源文件須經驗證才可進入索引; 建立文件來源驗證機制,作業規範等關鍵文件須比對權威版本; 於回答端標註來源文件並提供查驗連結,員工可追溯依據