IA-06 安保與安全性

← 返回 8 大影響構面

IA-06 安保與安全性(Safety and Security )

3 子構面 · 78 風險情境

確保 AI 系統在規定條件下運作時，不會對人類的生命、健康、福祉、財產或環境造成傷害與實體威脅，同時防範系統遭受對抗性攻擊、數據中毒與模型竊取等惡意威脅。

🎯 正面效益 Benefits保障醫療、交通與自動化場景的實體與心理安全，並構築對抗性攻擊與資料投毒的高強度資安防線。

⚠️ 負面危害 Harms / Risks系統故障或預測錯誤直接造成人身傷害與財產損失；或遭遇提示詞注入（Prompt Injection）、後門投毒等攻擊導致安全防線失守。

系統運作安全12 風險情境 · ISO 23894 A.10

定義評估 AI 系統在規定條件下是否不會導致人類生命、健康、福祉、財產或環境受到危害。

🎯 正面效益 Benefits保障實體與數位自動化環境之安全性，防範 Agent 自主越權操作、資源耗盡、連鎖崩潰與實體危害。

⚠️ 負面危害 Harms / Risks自動交易系統失控引發市場閃崩，或 AI 伺服器遭極端請求攻擊導致推論資源耗盡 (DoS) 與天價雲端帳單。

代表性情境S0132 推論資源耗盡攻擊 S0133 運算資源遭劫持挪用 S0134 特製輸入放大運算成本 S0137 成本放大攻擊 S0140 自主系統越權存取檔案 S0141 自主系統未授權對外連線 S0178 自動化網路攻擊 S0182 系統間通訊協定安全不足 S0183 自主系統形成默契協調 S0184 關鍵領域系統互動升級 S0186 多系統陷入集體次優 S0189 共用定價系統形成默契

系統安全漏洞60 風險情境 · ISO 23894 A.10

定義評估系統安全漏洞可能使不良行為者取得控制權的風險。

🎯 正面效益 Benefits構築高強度資安防線，防範提示詞注入 (Prompt Injection)、對抗性擾動攻擊、數據投毒與供應鏈漏洞。

⚠️ 負面危害 Harms / Risks攻擊者透過多輪對話或圖片進行提示注入，繞過安全護欄劫持 Agent 執行未授權操作或竊取內部機密檔。

代表性情境S0036 標籤竄改攻擊 S0037 後門觸發樣本植入 S0039 檢索知識庫遭投毒 S0040 微調階段破壞安全對齊 S0041 分散式訓練梯度污染 S0043 自動化資料管線上游污染 S0045 惡意套件混入開發環境 S0046 公開平台模型含後門 S0047 訓練框架自身漏洞 S0048 缺乏元件清單導致漏洞盲區 S0049 深度學習框架漏洞遭利用 S0050 前處理工具供應鏈漏洞 S0051 不安全序列化格式 S0070 影像對抗擾動攻擊 S0071 語音對抗與隱藏指令 S0072 文字對抗樣本規避偵測 S0073 實體世界對抗攻擊 S0074 多模態交叉誤導 S0075 通用對抗擾動 S0076 跨模型遷移攻擊 S0077 多模態協同擾動 S0078 功能複製攻擊 S0088 模型權重未加密外洩 S0093 推論介面缺乏存取控制 S0094 容器映像漏洞未修補 S0095 雲端服務權限配置過寬 S0096 推論端點成為內網跳板 S0097 多租戶隔離失效 S0118 直接提示注入繞過防護 S0119 間接提示注入劫持系統 S0120 系統指令外洩 S0121 多步驟誘導攻擊鏈 S0122 工具呼叫遭注入操控 S0123 目標劫持隱蔽執行 S0124 多模態隱藏指令注入 S0125 上下文累積式投毒 S0126 檢索結果注入劫持輸出 S0127 查詢蒸餾竊取能力 S0128 側通道推斷模型資訊 S0129 共享運算平台側通道風險 S0130 共享硬體記憶體殘留 S0150 生成針對群體的仇恨內容 S0151 生成兒少不宜之虛擬內容 S0153 未經同意的合成親密影像 S0154 自動化騷擾內容生成 S0155 極端主義內容產製 S0156 違法行為操作指引 S0157 對兒少的不當內容與引導 S0158 大規模不實資訊污染 S0168 合成身分詐欺 S0169 大規模不實內容產製 S0170 高度客製化釣魚攻擊 S0171 危險知識的取得門檻降低 S0174 科學推理能力遭濫用 S0175 精準化社交工程 S0176 選舉與政治過程操縱 S0177 未經同意的合成親密影像散布

系統變更安全影響6 風險情境 · ISO 23894 A.10

定義評估 AI 系統變更時對相關利害關係人的安全影響。

🎯 正面效益 Benefits強化 CI/CD 部署管線與更新通道安全，防範模型版本替換、權重未加密外洩及傳輸竄改風險。

⚠️ 負面危害 Harms / Risks部署管線末端遭攻擊者替換為惡意模型，或模型權重於傳輸與更新推送過程中遭竄改、水印被移除。

代表性情境S0053 微調層檔案遭替換 S0055 模型同質化造成系統性風險 S0089 模型標記遭移除 S0090 傳輸過程權重遭竄改 S0091 部署階段模型遭替換 S0092 更新推送通道遭劫持