你找到攻擊。
它 變成 一條規則。
四天 後 上了 npm。
以
- 4 天
- 從
Microsoft 發文 到 規則 上 npm Microsoft
Security 在 2026-05-07 的 部落 格 寫了 Semantic Kernel CVE-2026-26030。 這個 CVE 的 紀錄 2026-02-19 就公開 了, 從 紀錄 算起 是 80 天。 2026-05-10, ATR 維護 者 開 了 AGT#1937, 把這個 CVE 對應 到 ATR 規則。 AGT 維護 者 把 issue 指派 給 Microsoft 的 Copilot SWE Agent, 它 在 2026-05-11 06:07 UTC 開 了 一個 regression-test PR, 內容 預設 ATR 已經 涵 蓋 這個 CVE。 成對 的 規則 在 08:22 UTC 合併 進 ATR, 距離 那個 PR 開 出來 2 小時 16 分鐘。 v2.1.2 在 08:24 上了 npm。 - 30
- ADOPTERS.md
記錄 為 已 上線的整合 完整
完整名單 在 生態系 頁。 以下 幾個 專案, 是 ATR 維護 者 開 pull request、 各專案 自己 的 維護 者 審 過後 合併 的 例子。 唯一 的 例外 是 Cisco 的 rule-packs CLI (#80), 那是 Cisco 的 維護 者 寫的。 Microsoft Agent Governance Toolkit 收 進來 的是 範例 目錄。 Cisco AI Defense 在 skill-scanner 收了 一個 規則 包。 2026-11-02, Cisco 的 一位 維護 者 寫 道, 因為 誤報 率 太高, 他們 很 可能會 移除 ATR; 一個 只 告警 的 規則 包 (#289) 在 2026-11-05 被關閉, 沒有 合併。 CIRCL/MISP 合併 了 一份 taxonomy 和 一份 galaxy。 OWASP Agent Security Regression Harness 合併 了 四個 從 ATR 規則 衍生 的 情境, 檔案 裡 沒有 寫 ATR 的 名字。 Gen Digital Sage 合併 了 agent 層 的 威脅 pattern。 名單 和 每筆 證據 在 生態系頁 - 836
- 條
規則, 每條 都有 作者 欄位 和 固定編號 每條
規則 都有 author 欄位, 以及 發布 後 就不再 更 動的 ATR-YYYY-NNNNN 編號。 很多 規則 也在 metadata_provenance 記下來 源, 可能是 某個 語 料 或 某 份 安全 公告。 攻擊 是 你 帶來 的, 作者 欄 就可以 寫 你的名字。 - 0 FP
- 規則
pull request 合併 前 必須做到 規則
安全 閘 (scripts/check-rules-safety.ts) 在 每個 pull request 的 必 過 檢查 Validate Rules & Build 裡 執行, 只 檢查 這個 pull request 新增 或 修改 的 規則。 規則 自己 的 true positive 必須 全部 命中; 在 benign、 extended、 code、 research-mention 四份 語 料 上 必須 0 FP, 不能 跟 其他 規則 衝突, 也要 涵 蓋 自己 的 true_negatives。 閘門 每次 跑 都會 印出 用 了 多少 樣本, 以 那個 為 準, 不以 本頁 的 任何 數字 為 準。 現在 規則 的 pull request 要 合併, 就得 過 這一 關。 較早 批次 的 規則 並沒有 全部 通過: 用 2026-10-22 的 main (b9d16840) 重 跑, 2026-05-12 sprint 的 71 條 有 33 條 沒過, 2026-06 巨量 掃描 的 29 條 有 4 條 沒過, 結果 和 2026-10-19 相同 (data/gate-reruns/2026-10-19_red-team- rule-batches.json)。 寧可 漏掉 一個 巧妙 的 變體, 也不 放出 一條 誤報。 數字 按 車道 分 開 公布, 不 合成 單 一個 好看的數字。
攻擊 進 了 標準 之後, 你 手上 會 留下 什麼, 要看你是誰。
學術研究者
你
你的
企業紅隊
你的
ATR
獨立研究者
不用
你
賞金獵人
一個
ATR
你 送 樣本。 維護 者 寫 regex。 閘門 全 過,才合併。
- 01
你
填一張表 3
個 攻擊 樣本, 3 個 長得 很像 但 無害 的 樣本, 攻擊 類別, 再加上 出處 的 論文 或 repo。 大約 3 到 5 分鐘。 不用
學 schema, 不用 寫 YAML, 也不用 fork。 - 02
維護
者 照 你的 樣本 寫 regex 維護
者 看過 你的 issue, 照 你 給的 攻擊 樣本 寫 偵測 用 的 regex。 你 給的 無害 樣本, 就成了 這條 規則 的 true negative。 想 自己 寫 regex 也可以, 貼 在 PR 留言 裡, 或自己開一個 PR。 PR
要 合併, 得 先 過 閘門: 你 自己 的 true positive 要 100% 命中, 在 benign、 extended、 code、 research-mention 四份 語 料 上 都是 0 FP, 也不能 跟 其他 規則 衝突。 用 了 多少 樣本, 以 閘門 跑 的 時候 印出來 的 為 準。 較早 批次 的 規則 並沒有 全部 通過, 重 跑 紀錄 在 data/gate-reruns/2026-10-19_red-team-rule-batches.json。 - 03
閘門
過了, 整條規則送 PR 不管
regex 是誰 寫的, 都要 看 它的 形狀: 會不會 太 死, 能不能 再放寬 一點 抓到 變體。 閘門 沒過, 就先 留在 提案 階段, 繼續 收緊 regex, 判 對錯 的 依據 還是 你的 測試案例。 - 04
下游
的 副本 要 靠 PR 更新 合併
進 別 的 專案 的 ATR 規則 不會 自己 更新。 要 由 ATR 維護 者 再開 PR: 例如 MISP galaxy 在 2026-07-14 的 #1236, Cisco 規則 包 在 2026-08-03 的 #142。 直接 用 npm 套 件 的 人, 裝 新版 就拿 得到新規則。 Microsoft
Copilot 的 regression PR, 從 開出 來到 對應 的 規則 合併 進 ATR, 花了 2 小時 16 分鐘 (2026-05-11 06:07 至 08:22 UTC)。 兩分鐘 後, v2.1.2 上了 npm。 這段 只 算 PR 到 合併; 從 Microsoft 5/7 發文 算起是四天。
這些 攻擊 工具 和 語 料, 已經 在 替 標準 添 規則。 下 一個 可以 是 你的工具。
這裡
Microsoft PyRIT
HackAPrompt
一份
上線
目前
Promptfoo + llm-guard
promptfoo
上線
目前
OWASP LLM Top 10 + MITRE ATLAS
TextAttack
5 個 語 料 庫, 71 條新規則。
HackAPrompt
2026-05-12,11
上面
當時
現在
- HackAPrompt
- 樣本:4,780
(601,757 筆 中 以 固定 種子 抽出的子集) 新規則:5ATR-2026-00452..00456召回率:28.6%至 66.0% (hunt, 載 入 全部 規則, 樣本 內; 於 3a6145b7 與 92c0d0fe 重跑) - promptfoo + llm-guard
- 樣本:94
(2026-05-12 匯入, 含 6 筆 NeMo Guardrails; 其中 79 筆 與其 標示 的 廠商 檔案 逐字相同) 新規則:6ATR-2026-00500..00505召回率:79.4%(hunt) / 5.6% (enforce) (126 筆 固定 版本 的 廠商 攻擊 案例, 部分 屬 樣本 內; 消融 參考值 61.9% (hunt) / 5.6% (enforce); ATR 4.2.0, 量 測 於 2026-10-23) - PromptInject
- 樣本:整個
語料庫 新規則:4ATR-2026-00506..00509 - OWASP LLM Top 10 + ATLAS PoCs
- 樣本:8
個 標準分類 新規則:8ATR-2026-00510..00517 - Garak in-the-wild jailbreak
- 樣本:650新規則:已有覆蓋召回率:92.3%
(hunt) / 0.9% (enforce) (ATR 4.1.5, 量 測 於 2026-10-15; 部分 屬於 開卷 考, 規則看過這份語料)
這 71 條 規則 的 閘門紀錄
這
用
用
誤報
另外,
8 個 語 料 庫, 29 條 偵測 規則, 2 個沒有新的漏抓
把
- LLMail-Inject
- ATR-2026-01860..01865
- InjecAgent
- ATR-2026-00550 / 00584 / 00700 / 00859 / 01000
- AgentDojo
- ATR-2026-00715 / 00720 / 01751..01754
- ToolEmu
- ATR-2026-00702 / 00718 / 00719 / 01301
- MCPSecBench
- ATR-2026-01300 / 01306 / 01307 / 01310 / 01615 / 01616
- AgentPoison
- ATR-2026-01774 / 01800
- TensorTrust
- 現有
規則 已 涵 蓋, 沒有新的漏抓 - PoisonedRAG
- 現有
規則 已 涵 蓋, 沒有新的漏抓
這 29 條 規則 的 閘門紀錄
29
2026-10-22
剩下
哪些 沒收 進來,為什麼。
ATR
- PyRIT Pliny L1B3RT4SMicrosoft AI Red Team / Pliny拒絕導入
- Anthropic
的 使用 政策, 不 允許 負責 匯入 的 subagent 讀 這份 資料集。 來源 查證 不了 的 材料, ATR 不收。 - AdvBenchZou et al., GCG paper重新分類
- 改
放進 測試 語 料 庫 (data/test-corpora/), 不當 規則 來源。 AdvBench 寫的 是 攻擊 者 想 讓模型 做的 行為, 不是 包裝 好的 攻擊 payload。 它 拿來 量 攻擊 成功 率, 本身 沒有 可以 直接 偵測的模式。 - HarmBenchCenter for AI Safety · Dan Hendrycks重新分類
- 改
放進 測試 語 料 庫。 HarmBench 的 320 個 行為, 寫的 是 想要 的 輸出, 不是 攻擊 的 句法。 拿來 量 ATR 的 覆蓋 率, 不拿來寫規則。 - JailbreakBenchPrinceton · Patrick Chao重新分類
- 改
放進 測試 語 料 庫。 JBB-Behaviors 是 jailbreak 排行榜 的 標準 輸入, 寫的 是 請求 的 內容, 不是 攻擊 的 模式。 拿來 跑 benchmark, 不拿來寫規則。 - 語
料 庫 指紋 規則 (維持原樣) 例如 ATR-2026-02016保留,不泛化 - 少數
規則 鎖定 某 份 語 料 裡 非常 字面 的 字串, 例如 ATR-2026-02016 比對 HackAPrompt 裡 倒 著 拼 的 canary 字。 它們 是 那份 語 料 的 指紋, 不是 能 推廣 的 攻擊 模式, 規則 描述 裡 也寫 明 了。 硬要 放寬, 誤報 率 會 高 到 不能 接受, 所以 維持 字面 比對。 描述 裡 這樣 標明 的 規則 都停在 test, 封鎖 車道 只 載 入 stable, 所以 它們 只 告警、不封鎖。
填 一張 表, 大約 3 到 5 分鐘。 規則 上 會 一直 留著 你的 名字, 每個 採用 ATR 的 防守 者 用 的 都是這一條。
MIT
836
利益
