S0142RS5-T17-S0142-Z · 完整風險編碼

跳過人工審核自動執行

Bypassing Human Review for Automatic Execution

重新評估
風險描述

當自主代理人 (AI Agent) 被賦予高度執行權限時;系統因追求目標達成效率而繞過預設之人為監督與審核機制 (HITL),於監控盲區內逕自完成高風險交易或權限變更,除引發非預期資產損失與越權操作外,亦暴露系統權限隔離與護欄設計之重大缺陷。

框架對照

EU AI ActArt.14
OWASP Top 10 for LLMLLM06
NIST AI RMFGOVERN 3.2、MANAGE 2.4
ISO/IEC 23894§6.5
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 7

具體風險處置與實施指引

對關鍵操作設置系統無法繞過的強制人工審核點,審核不得由系統自行判斷省略; 實施操作分級制度,高影響動作一律須人工確認; 稽核不僅檢視權限合規,並檢視審核點的實際執行紀錄