ATR 全部 330 條規則
皆對應 NIST AI RMF。
ATR v2.1.0 於 2026-05-09 發布——全部 330 條規則皆帶有 compliance.nist_ai_rmf metadata。
每條對應引用該規則的具體偵測元素(regex / token / signature),而非制式樣板。可下載、可審核、可逐條驗證。
NIST AI Risk Management Framework(AI RMF 1.0 + GenAI Profile)是美國聯邦 AI 機構採用的事實標準,也是 NIST CAISI 推動 COSAiS Single-Agent / Multi-Agent overlay 工作的測量基底。
多數 AI 安全產品宣稱「對應 NIST AI RMF」,但通常只是一份封閉文件、一句行銷話術、或單一框架的交叉對照——沒有可逐條審核的 per-rule mapping。
ATR 把它做成 MIT 授權、open-source、可重現的 per-rule metadata。任何政府、任何 SOC、任何稽核人員,皆可下載 YAML 逐條檢視:每條規則對應到哪個 subcategory、為何如此對應、以何 detection element 為證據。
16 個 subcategory,涵蓋 NIST AI RMF 的 4 個 function:GV / MP / MS / MG。每條規則可同時對應多個 subcategory(primary + secondary strength),330 條規則共產生 1,566 個 mapping。
MG.2.3 出現次數最多(442 次),因為多數偵測規則都對應到「containment / disengage」回應路徑——偵測本身就是觸發隔離機制的條件。
每條規則的 NIST 對應都明確引用該規則所偵測的攻擊元素。以下是 ATR-2026-00118(Approval Fatigue Exploitation)的隨機抽樣:
compliance:
nist_ai_rmf:
- subcategory: GV.6.1
context: Approval fatigue exploitation manipulates
human-in-the-loop oversight by overwhelming operators
with rapid permission requests or minimizing
dangerous actions; GV.6.1 requires data and oversight
governance policies that preserve meaningful human
review rather than enabling bulk auto-approval of
risky tool calls.
strength: primarycontext 欄位明確說明這條規則為何歸屬 GV.6.1——不是泛指「governance」,而是「approval fatigue 攻擊違反 oversight 治理政策的具體路徑」。每條規則皆以此格式記錄。
Mapping pipeline 由三段組成:LLM-assisted 批次產生 + per-rule QA + atomic patch。完全 open-source、可重現。
- 輸入330 條 ATR rule YAML(detection patterns、test cases、既有 metadata)、NIST AI RMF 1.0 reference、GenAI Profile、手寫 5-shot 範例。
- 批次產生
scripts/expand-nist-mapping.ts— Claude Opus + 5-shot prompt + structured output。每條規則產出 ≥1 個 primary 加 0–3 個 secondary subcategory,並附上 per-mapping context。所有 subcategory ID 嚴格對照 RMF 規格驗證,零 hallucination。 - 原子套用
scripts/apply-nist-mapping.ts— 讀取 proposal YAML、patch 對應規則 YAML 的 compliance.nist_ai_rmf 區塊、tmp + rename 原子寫入、patch 後 YAML 仍可 parse(0 / 261 失敗)。既有的人工 mapping 不會被覆寫。 - 成本與時間USD 24.98(原估 USD 34)· wall-clock 約 52 分鐘 · 261 條新 mapping 疊在 v0.1 既有的 69 條之上,達成 100% 覆蓋。
- Provenance每條規則的 proposal YAML 完整保存於 proposals/nist/。任何人皆可重跑 pipeline、比對輸出、驗證 mapping 推論。
ATR 是 NIST CAISI 推動 COSAiS Single-Agent / Multi-Agent overlay 工作的候選 reference implementation。
CAISI 在 Research Blog 提出的「measurement-science-first」框架,正是我們設計這份 mapping 的根基:每條規則都有可重現的量測證據(garak inthewild benchmark、SKILL.md FP corpus、公開測試 corpus),不是空口宣稱。
- →RFI 文件編號:NIST-2025-0035(CAISI Issues Request for Information About Securing AI Agent Systems)
- →姊妹計畫:NCCoE AI Agent Identity & Authorization——ATR 的偵測層自然位於身分層之上
- →效能 benchmark:NVIDIA garak inthewild_jailbreak_llms recall 97.1%(666 樣本)· 498 條已標註 SKILL.md 上 FP rate 0.20% · DOI 10.5281/zenodo.19178002
Mapping 是公開 metadata,不是封閉規格。每條規則的 RMF 對應皆在 GitHub 上以 YAML 形式公開可讀——可 fork、可挑戰、可提 PR 修正 strength 或 context。
更完整的脈絡:Sovereign AI Defense — 公開倡議