科學推理能力遭濫用
Misuse of Scientific Reasoning Capability
運行與監控
風險描述
當惡意行為者以拆解式提問繞過防護,逐步取得整合後的技術路徑時;系統因單一問答均看似學術討論,組合起來卻構成完整的危險知識,防護機制未能識別整體意圖,除引發相關利害關係人權益損害外,亦將造成企業合規與營運商譽代價。
框架對照
EU AI ActArt.5
NIST AI 600-1CBRN Information or Capabilities
NIST AI RMFMANAGE 2.4
ISO/IEC 5338運作與監控
MIT AI Risk RepositoryDomain 4
具體風險處置與實施指引
對拆解式提問實施跨輪意圖分析,辨識組合後構成危險知識的整體樣態; 於高風險領域建置危險知識過濾,並對敏感能力設使用者身分驗證; 對確認濫用施以處置並保留紀錄配合主管機關