跳到內容
Agent Threat Rules (ATR)EN
研究

數字,還有 ATR 抓不到的東西。

繞過測試是公開的。規則抓不到哪些攻擊,也一樣攤開來。

2026 年 4 月 · 25 頁 · 67 篇參考文獻
信任的崩塌:自主 AI Agent 時代的安全架構

ATR 為什麼要存在,這篇從頭講。agent 一旦能自己動手,信任就不能再預設,偵測得成為一層人人都能查核的標準,由社群維護、發版。內容包括 RFC-001 品質規範、野外生態系掃描,以及讓標準持續更新、不停在一次快照的做法。論文裡的掃描數字已經過時。現在能引用的是:掃描 101,280 個項目,標記 1,434 個(engine v2.0.0,2026-04-13)。

新2026 年 4 月
OpenClaw registry 的協同惡意軟體行動:三個大量發布的攻擊帳號

野外掃描標記了 1,434 個項目,集中在三個大量發布的帳號:hightower6eu 發了 354 個 skill,sakaen736jih 212 個,52yuanchangxing 137 個。payload 有加密 zip、base64 包起來的 shell 指令,還有 C2 callback。已經通報 NousResearch,也列進公開黑名單。報告是以發布者為單位下判定,套用到整個帳號,不是一個檔一個檔判讀。報告裡的總數已經過時,請以本頁的數字為準。

2026 年 4 月 · 7 頁 · 32 篇參考文獻
A Large-Scale Security Audit of the AI Agent Ecosystem

在五個公開 registry 上,大規模掃描 agent skill 和 MCP 定義。找到三個協同攻擊的帳號。光是一條規則 ATR-2026-00121(透過工具描述竊取憑證),就佔了被標記 skill 的 53%。論文裡的總數已經過時,現在能引用的是:掃描 101,280 個項目,標記 1,434 個(engine v2.0.0,2026-04-13)。

新2026 年 4 月 · 18 頁 · 30 篇參考文獻
30 CVEs in 60 Days: The Model Context Protocol Attack Surface

用實際資料拆解 MCP 的攻擊面。60 天出了 30 個 CVE,38% 完全沒有認證。論文把攻擊分成 7 類,另外掃了 53K 個生態系項目。這個速度,是 Docker 頭兩年的 15 倍。

基準測試

在 ATR 自己的語料上量,也在幾份公開的攻擊資料集上量:deepset、Lakera Gandalf、HackAPrompt、garak。

PINT 格式,自建語料
100.0%
Precision · hunt
65.4%
Recall · hunt
enforce 0.4%
79.1
F1 · hunt
850 個樣本 · ATR 4.1.5,量測於 2026-10-15

這不是 Lakera 官方的 PINT benchmark。官方語料不公開,規模大約是這份的 5 倍。這份是照 PINT 格式自己組的,共 850 個樣本,來自 deepset/prompt-injections(660)和 Lakera/gandalf_ignore_instructions(190)。會在上面觸發的規則只有一小部分,大部分偵測又來自同一條規則。所以請把它當成 prompt injection 這一類的分數,不是 ATR 的整體覆蓋率。部分屬於 closed-book:有幾條 hunt 車道 規則正是從這份語料漏抓的樣本挖出來的,所以 hunt 數字不完全是樣本外成績。

回歸檢查:ATR 自己的測試案例
100.0%
Precision · hunt
96.6%
Recall · hunt
enforce 3.4%
341
樣本數
ATR 4.1.5,量測於 2026-10-15

這份語料有一部分就是規則自己的 true positive,分數高是應該的。它檢查的是規則還抓不抓得到當初要抓的東西。它不是基準測試,不要拿來跟左邊比。

在 hunt 車道,precision 是 100.0%,recall 是 65.4%。差這麼多是預料中的事。regex 抓得到它認得的寫法,換個說法、換種語言就漏掉。enforce 車道只載入 stable 規則,要開封鎖就用這條,它的 recall 是 0.4%。

SKILL.md 偵測基準

一份內部、標註過的 SKILL.md 語料,共 498 個檔案(32 個惡意 + 466 個正常;ATR 4.1.5,量測於 2026-10-15)。其中一部分惡意樣本是專門為這個 benchmark 手寫的。Layer A 是明顯的惡意 payload,像 curl | bash、base64 執行、reverse shell。Layer C 是語意型攻擊,像用自然語言下指令、社交工程。這份語料沒有 Layer B(混淆)的樣本。

整體
100.0%
Recall · hunt
enforce 0.0%
97.0%
Precision · hunt
98.5
F1 · hunt
0.20%
誤報率 · hunt
498
已標註樣本
依攻擊層 · hunt 車道
Layer A100.0%
明顯的惡意 payload:偵測到 24/24
Layer C100.0%
語意型攻擊:偵測到 8/8
正常樣本1 FP
466 個正常 SKILL.md,誤報 1 個(0.20%)

enforce 車道 只載入 stable 規則,要開封鎖就用這一條。它在 32 個惡意樣本中偵測到 0 個(0.0%)。這次量測沒有逐層的 enforce 數字。

生態系掃描

把規則拿去掃真實的 MCP skill 註冊表。

野外生態系掃描(5 個來源)
101,280
個 skill 掃過
1,210
CRITICAL 偵測結果
282
HIGH 偵測結果
1,434
被標記的項目

CRITICAL 和 HIGH 算的是偵測結果:被標記的 1,434 個項目一共產生 1,507 筆,一個項目可能有好幾筆。

ClawHub registry 掃描
36,394
個 skill 爬下來
182
評為 CRITICAL 的 skill
1,124
評為 HIGH 的 skill
9,676
含原始碼

上面的野外掃描是 2026-04-13 跑的。規則的來源還有 CVE 與安全公告的掃描、benchmark 漏抓的樣本,以及貢獻者。規則從 462 條長到現在 main 上的 836 條生效規則,另有 8 條 inert(npm 最新版 [email protected],頁面產生於 2026-11-20)。

數字怎麼來的

數字要別人重跑得出來,才算數。這裡的研究都能重跑。資料集、掃描腳本、評估腳本都用 MIT 授權公開,拿同一版 ATR 跑一遍,你會得到一樣的數字,不然就是證明它錯了。

掃描範圍

五個來源,一共 101,280 個項目(engine v2.0.0,2026-04-13)。最大的三個是 OpenClaw 56,480、ClawHub 36,394、Skills.sh 3,115,另外兩個是 Hermes Agent 和一個 MCP registry 索引。各來源的數字取自各自的爬蟲報告,跟總數不是同一個時間點拍的,所以加起來不會剛好等於總數。每個來源都是透過公開的 HTTP API 或 git repo 爬下來的。

偵測引擎

偵測核心是確定性的。規則用 regex 和 AST 比對,不靠 LLM 推論,同一個輸入在哪裡跑結果都一樣,預設開著的就是這一層。v3.1.0 起另有一個選用的實驗性語意 judge,專門補抓 pattern 漏掉的改寫式攻擊。它預設關閉,要自己打開,也不會動到確定性核心。新規則合併前要過一道安全閘:拿一批良性 skill 語料去跑,不能有任何誤報。

基準測試

precision 和 recall 跑在一份照 PINT 格式自建的語料上。recall 兩條車道 都列,precision 只量 hunt 車道。樣本來自外部公開資料集(deepset/prompt-injections、Lakera/gandalf_ignore_instructions),但後來有幾條 hunt 車道 規則,是從這份語料自己漏抓的樣本挖出來的,所以 hunt 的數字有一部分屬於 closed-book。這份語料是 ATR 自己組的,不是 Lakera 官方的 PINT benchmark。另外還有一組內部的 SKILL.md benchmark,用的是標註過的檔案,其中一部分惡意樣本是專門為它手寫的。

誤報量測

誤報率拿真實的良性樣本來量,也就是經過人工或社群審查的正常 skill:被誤判的良性樣本數,除以掃過的良性樣本總數。數字按車道分開列,不合成一個好看的數字。enforce 車道只跑最成熟的規則,預設的 hunt 車道則把全部規則當成提醒訊號來跑。之前在這裡公布的各車道誤報率已經撤回,等重新量測。原因是當時用的良性語料裡,後來發現混進了真的越獄樣本,基準站不住。重測完成之前,這裡不放數字。每一個已記錄的誤報情境,還是會寫進規則 YAML 的 false_positives 欄位,並顯示在規則頁上。

重現性

掃描 checkpoint、測試集和評估腳本,都公開放在 data/ 和 tests/ 底下。用同一版 ATR 重跑掃描,結果會一模一樣。

外部引用

ATR 本來就是要讓人引用、嵌進去、拿來當基礎的。外部引用記在這裡,還沒有的也照實寫。

目前還沒有公開的引用紀錄。如果你的論文、技術報告或產品文件引用了 ATR,請開一個 GitHub issue 告訴維護者。

引用這個標準

引用格式:Agent Threat Rules (ATR) Project (2026). Agent Threat Rules: An open detection standard for AI agent threats. DOI: 10.5281/zenodo.19178002

原始論文

引用格式:Lin, Kuan-Hsin (2026). The Collapse of Trust. DOI: 10.5281/zenodo.19178002

接下來的研究

下一步,偵測不只看靜態 pattern,也要看 runtime 的行為和語意。難判定的案例,最後再寫回確定性規則。每一步都會出現在 GitHub release 和論文更新裡,外面的人追得到進度。

Tier 3 行為評估層
進行中

偵測從靜態 regex 延伸到 runtime 的行為訊號。第一批規則看的是:讀了環境變數又接著連網、工具呼叫頻率不正常、跑出預期外的 shell。

Tier 4 語意評估 + 結晶 pipeline
設計中

Tier 3 判不出來的樣本,交給 LLM-as-judge 做語意分析。LLM 找到的東西,再寫成 Tier 2 的 regex 規則放回 ATR。

轉成 Sigma / YARA
部分可用

Sigma:repo 裡有一支轉換腳本(scripts/generate-sigma.py),把 ATR 規則轉成 Sigma YAML。agent 流量還沒有正式的 Sigma logsource,所以它用自訂的 ai_agent logsource,接進 SIEM 時要自己對欄位。ATR 也列在 SigmaHQ 的工具目錄裡。YARA:ATR 沒有官方的編譯器;第三方的 atr-to-yaral 可以把 ATR 規則轉成 Google SecOps 用的 YARA-L 2.0。

訓練期和 runtime 之間的斷層
開放問題

ATR 比對的是文字:skill、工具說明這類靜態檔案(上面的生態系掃描就是),以及 runtime 的輸入、輸出和工具呼叫。訓練時埋進模型權重的後門不在這些文字裡,所以從架構上就看不到。要補上這個斷層,得有新技術,把供應鏈來源(model card、訓練資料稽核)和 runtime 的行為指紋接起來。

出處:ATR-FRAMEWORK-SPEC.md 的 Phase 2-4 路線圖,以及主論文的未來工作章節。

ATR 偵測不到的東西

要靠這些規則之前,你該先知道它們會漏掉什麼。

換句話說

任何 regex 規則,都能用意思一樣、說法不同的句子繞過。「Ignore previous instructions」會被抓到,「please set aside the guidance you were given earlier」不會。

其他語言

比對條件幾乎都是英文。只有少數規則另外收了中文、日文、韓文、俄文或阿拉伯文的寫法,而且只針對它們原本要抓的那一招。用其他語言寫的注入,或用這幾種語言寫的新招,大多會漏掉。

要看情境的攻擊

「Delete all records」可能是正常指令,也可能是攻擊。regex 只看字面,看不出 agent 有沒有被授權做這件事。

協定層攻擊

ATR 檢查的是內容,不是傳輸。訊息重放、schema 竄改、MCP 傳輸層的中間人攻擊,它都看不到。

拆成很多輪的攻擊

花 20 輪慢慢把信任拉高,每一則訊息單獨看都沒問題。ATR 不會把它們串起來看,每個事件都分開判斷。

新型攻擊

還沒出現過的攻擊,regex 不可能比對得到。新手法要有新規則。

利益揭露:維護者創辦並控制 PANGUARD AI, INC.,這家公司販售以 ATR 為基礎的 agent 資安產品。