關鍵領域系統互動升級
Escalation Through System Interaction in Critical Domains
運行與監控
風險描述
當雙方的自動化系統各自對對方的動作做出防禦性反應，反應速度遠超人類決策週期時；系統因情勢在數分鐘內升級，待人員介入時已難以回復，除引發相關利害關係人權益損害外，亦將造成企業合規與營運商譽代價。
框架對照
MITRE ATLASAML.T0051
NIST AI RMFMANAGE 2.4
ISO/IEC 23894§6.5
EU AI ActArt.14
MAESTRO
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 7
具體風險處置與實施指引
於關鍵領域保持人類指揮鏈，自動系統的對抗性反應須經人類授權才可升級; 部署升級斷路器，情勢升級速度超過門檻即強制暫停; 對系統間互動速度設上限，保留人類決策介入的時間窗