S0125RS3-T10-S0125-Z · 完整風險編碼

上下文累積式投毒

Cumulative Context Poisoning

驗證與確效
風險描述

當攻擊者在數日前的互動中植入指令片段,系統的持久記憶保留了該內容時;系統因條件成立時攻擊啟動,而當下的對話內容完全正常,追查時難以聯想到數日前的互動,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。

框架對照

OWASP Top 10 for LLMLLM01
MITRE ATLASAML.T0051
NIST AI 600-1Information Security
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 2

具體風險處置與實施指引

對寫入持久記憶的內容執行安全掃描,攔截指令樣式的片段; 實施記憶定期清理與到期機制,降低潛伏指令的存續時間; 對記憶內容的取用建立審計紀錄,事件可回溯至寫入時點