系統指令外洩
System Instruction Disclosure
驗證與確效
風險描述
當攻擊者取得系統指令後，據以設計精準繞過各項防護規則的輸入時；系統因組織的防護設計因細節曝光而大幅失效，須重新設計整套機制，除引發相關利害關係人權益損害外，亦將造成企業合規與營運商譽代價。
框架對照
OWASP Top 10 for LLMLLM07
MITRE ATLASAML.T0051
NIST AI 600-1Information Security
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 2
具體風險處置與實施指引
實施系統提示防洩露設計，拒絕輸出自身指令並定期以誘出測試驗證; 敏感規則與金鑰不置於系統提示，改以外部政策引擎執行，降低洩露後果; 假設系統提示終將曝光來設計防護，安全性不依賴指令保密