跳到內容
Agent Threat Rules (ATR)EN
給紅隊

你找到攻擊。
它變成一條規則。
四天後上了 npm。

以 Semantic Kernel CVE-2026-26030 為例:Microsoft 在 2026-05-07 發文說明,對應的 ATR 規則在 2026-05-11 隨 v2.1.2 上了 npm。這個 CVE 的紀錄其實 2 月就公開了。把攻擊寫下來一次,所有防守的人就能用同一個名字稱呼它。

攻擊為什麼該寫進標準
4 天
從 Microsoft 發文到規則上 npm

Microsoft Security 在 2026-05-07 的部落格寫了 Semantic Kernel CVE-2026-26030。這個 CVE 的紀錄 2026-02-19 就公開了,從紀錄算起是 80 天。2026-05-10,ATR 維護者開了 AGT#1937,把這個 CVE 對應到 ATR 規則。AGT 維護者把 issue 指派給 Microsoft 的 Copilot SWE Agent,它在 2026-05-11 06:07 UTC 開了一個 regression-test PR,內容預設 ATR 已經涵蓋這個 CVE。成對的規則在 08:22 UTC 合併進 ATR,距離那個 PR 開出來 2 小時 16 分鐘。v2.1.2 在 08:24 上了 npm。

30
ADOPTERS.md 記錄為已上線的整合

完整名單在生態系頁。以下幾個專案,是 ATR 維護者開 pull request、各專案自己的維護者審過後合併的例子。唯一的例外是 Cisco 的 rule-packs CLI(#80),那是 Cisco 的維護者寫的。Microsoft Agent Governance Toolkit 收進來的是範例目錄。Cisco AI Defense 在 skill-scanner 收了一個規則包。2026-11-02,Cisco 的一位維護者寫道,因為誤報率太高,他們很可能會移除 ATR;一個只告警的規則包(#289)在 2026-11-05 被關閉,沒有合併。CIRCL/MISP 合併了一份 taxonomy 和一份 galaxy。OWASP Agent Security Regression Harness 合併了四個從 ATR 規則衍生的情境,檔案裡沒有寫 ATR 的名字。Gen Digital Sage 合併了 agent 層的威脅 pattern。

完整名單和每筆證據在生態系頁
836
條規則,每條都有作者欄位和固定編號

每條規則都有 author 欄位,以及發布後就不再更動的 ATR-YYYY-NNNNN 編號。很多規則也在 metadata_provenance 記下來源,可能是某個語料或某份安全公告。攻擊是你帶來的,作者欄就可以寫你的名字。

0 FP
規則 pull request 合併前必須做到

規則安全閘(scripts/check-rules-safety.ts)在每個 pull request 的必過檢查 Validate Rules & Build 裡執行,只檢查這個 pull request 新增或修改的規則。規則自己的 true positive 必須全部命中;在 benign、extended、code、research-mention 四份語料上必須 0 FP,不能跟其他規則衝突,也要涵蓋自己的 true_negatives。閘門每次跑都會印出用了多少樣本,以那個為準,不以本頁的任何數字為準。現在規則的 pull request 要合併,就得過這一關。較早批次的規則並沒有全部通過:用 2026-10-22 的 main(b9d16840)重跑,2026-05-12 sprint 的 71 條有 33 條沒過,2026-06 巨量掃描的 29 條有 4 條沒過,結果和 2026-10-19 相同(data/gate-reruns/2026-10-19_red-team-rule-batches.json)。寧可漏掉一個巧妙的變體,也不放出一條誤報。數字按車道分開公布,不合成單一個好看的數字。

你能拿到什麼

攻擊進了標準之後,你手上會留下什麼,要看你是誰。

學術研究者

你描述的攻擊,會變成一份能引用的成果,放在論文旁邊。它有固定編號,也真的有下游在用。論文本身可能鎖在付費牆後面。

你的名字可以寫在規則檔的 author 欄,旁邊是發布後就不再更動的規則編號。

企業紅隊

你的團隊找到的變體,不再只是內部發現,每個防守的人都叫得出它的名字。你的團隊可以掛名成為 ATR 規則庫的作者,這個規則庫有一部分已被 Cisco AI Defense、MISP 和 Gen Digital Sage 的專案合併。

ATR 維護者開了一個 issue,把兩個 CVE 對應到 ATR 規則。Microsoft 的 Copilot SWE Agent 被指派到這個 issue,開了一個預設 ATR 已涵蓋的 PR(issue 為 AGT #1937,PR 為 #1981,2026-05-11 合併)。署名一條 ATR-2026-NNNNN 規則,是任何人都查得到的紀錄。

獨立研究者

不用自己寫 regex,也能送出一條偵測。你給攻擊範例和良性範例,維護者照著寫 regex,再讓它跑完整道閘門。

你給的良性相似樣本會成為規則的 true negative。合併前,regex 一個都不能命中,在良性語料上也要 0 FP。這道規則安全閘,現在每個規則 pull request 都要過。較早批次的規則並沒有全部通過,重跑紀錄在 data/gate-reruns/2026-10-19_red-team-rule-batches.json。

賞金獵人

一個攻擊,兩份收穫:賞金,加上一條之後到處都抓得到它的永久規則。這可以和 Huntr.dev、HackerOne 的 AI 範圍、Protect AI 的賞金計畫並行。

ATR 提案採 MIT 授權、可以引用,不會和 NDA 衝突。負責任揭露的期限由賞金計畫決定,ATR 在揭露之後才發布偵測,並公開記下發現者。

送出 probe 之後

你送樣本。維護者寫 regex。閘門全過,才合併。

  1. 01

    你填一張表

    3 個攻擊樣本,3 個長得很像但無害的樣本,攻擊類別,再加上出處的論文或 repo。大約 3 到 5 分鐘。

    不用學 schema,不用寫 YAML,也不用 fork。

  2. 02

    維護者照你的樣本寫 regex

    維護者看過你的 issue,照你給的攻擊樣本寫偵測用的 regex。你給的無害樣本,就成了這條規則的 true negative。想自己寫 regex 也可以,貼在 PR 留言裡,或自己開一個 PR。

    PR 要合併,得先過閘門:你自己的 true positive 要 100% 命中,在 benign、extended、code、research-mention 四份語料上都是 0 FP,也不能跟其他規則衝突。用了多少樣本,以閘門跑的時候印出來的為準。較早批次的規則並沒有全部通過,重跑紀錄在 data/gate-reruns/2026-10-19_red-team-rule-batches.json。

  3. 03

    閘門過了,整條規則送 PR

    不管 regex 是誰寫的,都要看它的形狀:會不會太死,能不能再放寬一點抓到變體。閘門沒過,就先留在提案階段,繼續收緊 regex,判對錯的依據還是你的測試案例。

  4. 04

    下游的副本要靠 PR 更新

    合併進別的專案的 ATR 規則不會自己更新。要由 ATR 維護者再開 PR:例如 MISP galaxy 在 2026-07-14 的 #1236,Cisco 規則包在 2026-08-03 的 #142。直接用 npm 套件的人,裝新版就拿得到新規則。

    Microsoft Copilot 的 regression PR,從開出來到對應的規則合併進 ATR,花了 2 小時 16 分鐘(2026-05-11 06:07 至 08:22 UTC)。兩分鐘後,v2.1.2 上了 npm。這段只算 PR 到合併;從 Microsoft 5/7 發文算起是四天。

攻擊方的工具和語料

這些攻擊工具和語料,已經在替標準添規則。下一個可以是你的工具。

這裡只列紅隊工具,也就是攻擊測試框架和對抗語料。防守端的框架在 /ecosystem。

已合併進上游,或語料已匯入(4)

Microsoft PyRIT

Microsoft AI Red Team
已合併進上游

Microsoft 內部用來對正式上線的 LLM 產品做紅隊測試的工具組,由 Roman Lutz 主導。

新增一個 ATR 資料集載入器,把規則集當成 PyRIT 的攻擊來源;PR #1715 在 2026-05-27 合併。

HackAPrompt

Schulhoff et al. — Learn Prompting · EMNLP 2023
語料已匯入

一份 60 萬筆以上提示詞的資料集(公開版本有 601,757 筆),來自一場全球性的提示詞攻擊競賽。參賽者想辦法讓 gpt-3.5-turbo、FlanT5-XXL 或 text-davinci-003 印出指定的句子,或說出隱藏的密鑰。描述這份資料集的論文(Schulhoff 等人,EMNLP 2023)列在 EMNLP 2023 的 Best Paper Awards 名單上。

上線 5 條 ATR 規則(ATR-2026-00452..00456),2026-05-12 移入 rules/。每條各針對語料裡看得到的一種攻擊手法:強迫輸出指定句子、要求說出密鑰、逐字元加反斜線編碼、要求輸出不加句號,以及針對空白輸入的條件句。另外還有其他規則在 YAML 裡提到 HackAPrompt。召回率在固定的 4,780 筆子集上量測:在固定的資料集版本上,用固定種子隨機抽 5,000 筆,再扣掉短於 3 個字元的 220 筆。每筆提示詞都當成 LLM 輸入送進評估程式,只要有任何一條規則命中,就算偵測到。有幾條註明 HackAPrompt 的規則正是從這份子集寫出來的,所以下面的目前召回率屬於樣本內;後面附上消融參考值,也就是同一批提示詞、拿掉所有註明 HackAPrompt 的規則後的結果。這份語料 100% 是攻擊,沒有良性樣本,所以算不出精確度或誤報率。

目前的召回率,hunt 車道(載入所有成熟度)/enforce 車道(只載入 stable,用於封鎖):HackAPrompt(4,780 筆攻擊樣本):83.1% (hunt) / 49.0% (enforce);拿掉 YAML 註明這份語料的 20 條規則後是 28.7% (hunt) / 0.7% (enforce)(這是消融參考值,接近樣本外成績,但不保證是)(ATR 4.1.5,量測於 2026-10-19)。

Promptfoo + llm-guard

Promptfoo Inc. · Protect AI
語料已匯入

promptfoo 紅隊外掛裡的攻擊範例,以及 llm-guard 掃描器測試裡的測試案例,兩者都是 MIT 授權。

上線 6 條 ATR 規則(ATR-2026-00500..00505),2026-05-12 移入 rules/。其中四條從 promptfoo 的外掛範例歸納而來(SSRF、資料外洩、發散式重複、工具探查),兩條來自 llm-guard 的測試案例(假造錯誤狀態來接管,以及套取系統提示詞;後者也參考了 promptfoo)。範例裡寫死的主機名稱、網址、字詞和工具名稱,都改寫成 pattern。每條規則的描述都寫明出自哪份語料。這些規則出自 2026-05-12 的那次匯入,共 94 筆樣本(llm-guard 44 筆、promptfoo 44 筆、NeMo Guardrails 6 筆)。和廠商的 repository 逐筆比對:79 筆與其標示的廠商檔案逐字相同,3 筆是從該檔案截短或改寫,2 筆出自另一家廠商的測試套件,10 筆在釘選 commit 的廠商 repository 裡找不到逐字相同的內容。現在這些規則改在 126 筆攻擊案例和 20 筆良性案例上量測;案例由程式從 llm-guard、promptfoo 和 NVIDIA NeMo Guardrails(Apache-2.0;只用來量測,沒有任何規則是從它寫出來的)的固定 commit 擷取並去重,任何一條規則命中就算偵測到。三套中有兩套正是這些規則的來源,所以下面的目前召回率有一部分屬於樣本內;後面附上消融參考值,也就是同一批案例、拿掉所有註明這三家廠商之一或帶有 vendor-corpus-import 標籤的規則後的結果。即使這樣也不算樣本外:剩下的規則有些在 YAML 裡帶有廠商的文字,另有五筆 NeMo Guardrails 案例和 garak 語料共用同一個越獄範本,而其他規則正是從 garak 語料挖出來的(兩者的影響量測檔裡都有算)。20 筆良性案例太少,談不上精確度,只列出被標記的筆數。從 agent-threat-rules#709 起,ATR-2026-00500 和 -00501 命中它們所引用類別裡的全部 3 筆廠商案例,ATR-2026-00505 命中它的 true positive 所依據的全部 6 筆廠商案例(hunt);在那之前,00500 和 00501 分別只命中 1 筆和 0 筆。

目前的召回率,hunt 車道(載入所有成熟度)/enforce 車道(只載入 stable,用於封鎖):固定版本的廠商測試套件(126 筆攻擊樣本):79.4% (hunt) / 5.6% (enforce),hunt 車道在 20 筆良性樣本中標記 1 筆;拿掉註明 llm-guard、promptfoo 或 NeMo Guardrails,或帶有 vendor-corpus-import 標籤的 16 條規則後是 61.9% (hunt) / 5.6% (enforce)(這是消融參考值,接近樣本外成績,但不保證是)(ATR 4.2.0,量測於 2026-10-23)。

OWASP LLM Top 10 + MITRE ATLAS

OWASP · MITRE
語料已匯入

OWASP 整理的 LLM 應用程式十大風險,以及 MITRE ATLAS:針對 AI 系統的對抗技術與案例研究目錄。

2026-05-12 上線 8 條 ATR 規則(ATR-2026-00510..00517)。每條規則的 references 都標明一個 OWASP LLM Top 10(2025)類別(LLM01、LLM02、LLM06 或 LLM10)和一個 MITRE ATLAS 技術;8 條中有 6 條在描述裡引用了所依據的 ATLAS 案例研究(AML.CS0022、CS0036、CS0038、CS0039 與 CS0045、CS0041、CS0056)。

還開著的提案(2)

TextAttack

QData · ACL 2020
提案還開著

QData 實驗室的 NLP 對抗攻擊框架(ACL 2020)。

Issue #824 提議做一個 PyPI 配套套件 textattack-detection-atr,以外掛的形式提供,不動 TextAttack 的核心。唯一的請求是在 README 加上互相連結。

Promptfoo

Promptfoo Inc.
提案還開著

開源的 LLM 紅隊與評估工具,會產生對抗測試,拿去跑 LLM 應用程式。

PR #8529 新增一個 MCP 紅隊範例,用 ATR 當確定性的防禦層:Promptfoo 負責跑探測,ATR 規則給出判定。

持續匯入語料

5 個語料庫,71 條新規則。

HackAPrompt 召回率從 28.6% 升到 66.0%。這是樣本內的數字:2026-05-12 那次 sprint,載入全部規則,量測用的就是挖出這些規則的同一份 4,780 筆子集。

2026-05-12,11 個 agent 平行跑,匯入了五個外部語料庫。這次 sprint 的兩個 commit(e9efefdd、92c0d0fe)新增 71 個規則檔,編號 ATR-2026-00452..00522。v2.2.0 changelog 寫的是 75 條,因為它還算進了同一天稍早、在 commit 80dbd0ab 加入的 4 條 CVE 規則(00448..00451),那個 commit 在 sprint 的兩個 commit 之前。完整的版本紀錄在 /changelog。

上面兩個 HackAPrompt 數字都是重跑的。用的是固定的 4,780 筆子集,資料集版本釘死,用固定的亂數種子抽樣。一次跑在 sprint 前一個 commit(3a6145b7,偵測到 1,368 筆),一次跑在 sprint 的發布 commit(92c0d0fe,偵測到 3,154 筆),兩次都載入全部規則,也就是今天 hunt 車道載入的範圍。28.6% 本身也是樣本內:從同一份子集挖出來的 ATR-2026-00442..00447,那時已經載入了。

當時公布的 66.2%,在 sprint 的兩個 commit(e9efefdd、92c0d0fe)上都重現不出來,最高只到 66.0%,所以撤回。現在的 hunt 和 enforce 數字,以及消融參考值,在上方的 HackAPrompt 條目。重跑步驟寫在 data/hackaprompt/METHOD.md。

現在的規則來自 CVE 和安全公告的掃描、benchmark 漏抓樣本的挖掘,還有貢獻者。每一條都要透過維護者合併的 pull request 才進得了 main。從六月到現在,標準從 462 條長到 836 條,以 agent-threat-rules 發布在 npm 上。

HackAPrompt
樣本:4,780(601,757 筆中以固定種子抽出的子集)
新規則:5ATR-2026-00452..00456
召回率:28.6% 至 66.0%(hunt,載入全部規則,樣本內;於 3a6145b7 與 92c0d0fe 重跑)
promptfoo + llm-guard
樣本:94(2026-05-12 匯入,含 6 筆 NeMo Guardrails;其中 79 筆與其標示的廠商檔案逐字相同)
新規則:6ATR-2026-00500..00505
召回率:79.4% (hunt) / 5.6% (enforce)(126 筆固定版本的廠商攻擊案例,部分屬樣本內;消融參考值 61.9% (hunt) / 5.6% (enforce);ATR 4.2.0,量測於 2026-10-23)
PromptInject
樣本:整個語料庫
新規則:4ATR-2026-00506..00509
OWASP LLM Top 10 + ATLAS PoCs
樣本:8 個標準分類
新規則:8ATR-2026-00510..00517
Garak in-the-wild jailbreak
樣本:650
新規則:已有覆蓋
召回率:92.3% (hunt) / 0.9% (enforce)(ATR 4.1.5,量測於 2026-10-15;部分屬於開卷考,規則看過這份語料)

這 71 條規則的閘門紀錄

這 71 條規則當時跑品質閘的紀錄,沒有 commit 進 repo。所以「全部通過、在良性語料上 0 FP」這句話撤回,改成實際重測:用 repo 裡的規則安全閘 scripts/check-rules-safety.ts,2026-10-19 跑了一次,2026-10-22 又跑一次。

用 92c0d0fe 當時的閘和語料:71 條在 432 份良性 SKILL.md 上都沒有誤報。10 條沒過,原因都是有自己的 true positive 沒命中。這 10 條裡,1 條另外在 1,352 筆 extended 良性樣本中誤報 1 筆,1 條在 157 筆 research-mention 樣本中誤報 1 筆,2 條跟其他規則的 true negative 衝突。

用 2026-10-22 的 main(b9d16840,ATR 4.1.5):33 條沒過,其中 26 條至少誤報 1 筆良性樣本。分開看,467 份 SKILL.md 上有 4 條,13,620 筆 extended 上有 26 條,69 筆程式碼上有 1 條,157 筆 research-mention 上有 2 條。這 26 條沒有一條的 maturity 是 stable,所以都不會載入 enforce 車道。24 條在 alert 和 hunt 車道,2 條只在 hunt 車道。2026-10-19 在 9d74fc50 跑出來的結果一模一樣,雖然這段期間 main 上改過紀錄裡的 9 條規則。

誤報最多的是 ATR-2026-00454(maturity test,在 alert 和 hunt 車道),467 份 SKILL.md 中誤報 152 份,13,620 筆 extended 中誤報 1,376 筆。其他每一條,在任何一份語料上都不超過 23 筆。上方 HackAPrompt 的 hunt 和 alert 數字,00454 也算在分子裡:2026-10-19 的 HackAPrompt 量測中,它在 hunt 車道命中 4,780 筆裡的 757 筆。紀錄在 data/gate-reruns/2026-10-19_red-team-rule-batches.json。

另外,有 53 條規則的 regex,已經從字面比對改寫成多層的結構 pattern。

2026-06 巨量掃描

8 個語料庫,29 條偵測規則,2 個沒有新的漏抓

把 8 個公開的 agent 紅隊語料庫拿來跑現有規則,找出漏抓的攻擊變體,再寫成新規則。6 個語料庫產出 29 條偵測規則。另外 2 個(TensorTrust、PoisonedRAG)找不到現有規則漏掉的東西。

LLMail-Inject
ATR-2026-01860..01865
InjecAgent
ATR-2026-00550 / 00584 / 00700 / 00859 / 01000
AgentDojo
ATR-2026-00715 / 00720 / 01751..01754
ToolEmu
ATR-2026-00702 / 00718 / 00719 / 01301
MCPSecBench
ATR-2026-01300 / 01306 / 01307 / 01310 / 01615 / 01616
AgentPoison
ATR-2026-01774 / 01800
TensorTrust
現有規則已涵蓋,沒有新的漏抓
PoisonedRAG
現有規則已涵蓋,沒有新的漏抓

這 29 條規則的閘門紀錄

29 條是去重後的數字,有幾條來自好幾個語料庫都漏抓的同一種攻擊。照規則檔裡的 maturity 分:15 條 stable,12 條 test,1 條 experimental,1 條 draft。它們當時跑閘門的紀錄沒有 commit,所以「全部通過、0 FP」這句話撤回,改成實測。

2026-10-22 在 main b9d16840(ATR 4.1.5)重跑規則安全閘,結果和 2026-10-19 相同。29 條在 467 份良性 SKILL.md 上都沒有誤報。4 條沒過。其中 3 條在 13,620 筆 extended 良性樣本中,各誤報 2 到 4 筆。這 3 條都是 maturity test,在 alert 和 hunt 車道,不在 enforce 車道,其中 1 條另外跟其他規則的 true negative 衝突。

剩下 1 條是 ATR-2026-00550,detection method 是 trace,閘門沒辦法拿文字樣本跑它,所以算不通過。2026-10-19 那次,閘門把它記成 true positive 沒命中;閘門的這項檢查後來在 2f0605c3 改過。紀錄同上。

刻意不收的語料

哪些沒收進來,為什麼。

ATR 不是找得到的語料庫都收。下面這些資料集,是刻意決定不拿來寫規則的,附上原因。

PyRIT Pliny L1B3RT4S
Microsoft AI Red Team / Pliny
拒絕導入
Anthropic 的使用政策,不允許負責匯入的 subagent 讀這份資料集。來源查證不了的材料,ATR 不收。
AdvBench
Zou et al., GCG paper
重新分類
改放進測試語料庫(data/test-corpora/),不當規則來源。AdvBench 寫的是攻擊者想讓模型做的行為,不是包裝好的攻擊 payload。它拿來量攻擊成功率,本身沒有可以直接偵測的模式。
HarmBench
Center for AI Safety · Dan Hendrycks
重新分類
改放進測試語料庫。HarmBench 的 320 個行為,寫的是想要的輸出,不是攻擊的句法。拿來量 ATR 的覆蓋率,不拿來寫規則。
JailbreakBench
Princeton · Patrick Chao
重新分類
改放進測試語料庫。JBB-Behaviors 是 jailbreak 排行榜的標準輸入,寫的是請求的內容,不是攻擊的模式。拿來跑 benchmark,不拿來寫規則。
語料庫指紋規則(維持原樣)
例如 ATR-2026-02016
保留,不泛化
少數規則鎖定某份語料裡非常字面的字串,例如 ATR-2026-02016 比對 HackAPrompt 裡倒著拼的 canary 字。它們是那份語料的指紋,不是能推廣的攻擊模式,規則描述裡也寫明了。硬要放寬,誤報率會高到不能接受,所以維持字面比對。描述裡這樣標明的規則都停在 test,封鎖車道只載入 stable,所以它們只告警、不封鎖。
送出一個 probe

填一張表,大約 3 到 5 分鐘。規則上會一直留著你的名字,每個採用 ATR 的防守者用的都是這一條。

MIT 授權,不用簽 CLA,沒有遙測,永遠免費。攻擊本身要怎麼發表,權利全在你。ATR 只把它寫成一條偵測規則,誰都能用固定編號引用。

836 條規則已部署,分在 10 個威脅類別。每一條都有 author 欄位和固定的規則編號。

利益揭露:維護者創辦並控制 PANGUARD AI, INC.,這家公司販售以 ATR 為基礎的 agent 資安產品。