S0087RS6-T21-S0087-Z · 完整風險編碼

多系統安全驗證困難

Difficulty of Multi-System Safety Validation

驗證與確效
風險描述

當組織對每個系統分別完成完整的安全測試並全數通過時;系統因整合上線後出現各系統單獨測試時從未出現的異常行為,而此類行為無法透過既有測試方法預先發現,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。

框架對照

MITRE ATLASAML.T0051
NIST AI RMFMEASURE 2.6
ISO/IEC 23894§6.4
OWASP Top 10 for LLMLLM06
MAESTRO
ISO/IEC 5338驗證與確效
MIT AI Risk RepositoryDomain 7

具體風險處置與實施指引

對多系統整合執行多智能體壓力測試,涵蓋單獨測試無法顯現的互動行為; 採漸進式部署,先小範圍觀察系統間互動再擴大; 建立整合層的行為監控,偵測湧現型異常