數字,還有 ATR 抓不到的東西。
繞過測試是公開的。規則抓不到哪些攻擊,也一樣攤開來。
2026 年 4 月 · 25 頁 · 67 篇參考文獻
信任的崩塌:自主 AI Agent 時代的安全架構
ATR 為什麼要存在,這篇從頭講。agent 一旦能自己動手,信任就不能再預設,偵測得成為一層人人都能查核的標準,由社群維護、發版。內容包括 RFC-001 品質規範、野外生態系掃描,以及讓標準持續更新、不停在一次快照的做法。論文裡的掃描數字已經過時。現在能引用的是:掃描 101,280 個項目,標記 1,434 個(engine v2.0.0,2026-04-13)。
新2026 年 4 月
OpenClaw registry 的協同惡意軟體行動:三個大量發布的攻擊帳號
野外掃描標記了 1,434 個項目,集中在三個大量發布的帳號:hightower6eu 發了 354 個 skill,sakaen736jih 212 個,52yuanchangxing 137 個。payload 有加密 zip、base64 包起來的 shell 指令,還有 C2 callback。已經通報 NousResearch,也列進公開黑名單。報告是以發布者為單位下判定,套用到整個帳號,不是一個檔一個檔判讀。報告裡的總數已經過時,請以本頁的數字為準。
2026 年 4 月 · 7 頁 · 32 篇參考文獻
A Large-Scale Security Audit of the AI Agent Ecosystem
在五個公開 registry 上,大規模掃描 agent skill 和 MCP 定義。找到三個協同攻擊的帳號。光是一條規則 ATR-2026-00121(透過工具描述竊取憑證),就佔了被標記 skill 的 53%。論文裡的總數已經過時,現在能引用的是:掃描 101,280 個項目,標記 1,434 個(engine v2.0.0,2026-04-13)。
新2026 年 4 月 · 18 頁 · 30 篇參考文獻
30 CVEs in 60 Days: The Model Context Protocol Attack Surface
用實際資料拆解 MCP 的攻擊面。60 天出了 30 個 CVE,38% 完全沒有認證。論文把攻擊分成 7 類,另外掃了 53K 個生態系項目。這個速度,是 Docker 頭兩年的 15 倍。
基準測試
在 ATR 自己的語料上量,也在幾份公開的攻擊資料集上量:deepset、Lakera Gandalf、HackAPrompt、garak。
PINT 格式,自建語料
65.4%
Recall · hunt
enforce 0.4%
850 個樣本 · ATR 4.1.5,量測於 2026-10-15
這不是 Lakera 官方的 PINT benchmark。官方語料不公開,規模大約是這份的 5 倍。這份是照 PINT 格式自己組的,共 850 個樣本,來自 deepset/prompt-injections(660)和 Lakera/gandalf_ignore_instructions(190)。會在上面觸發的規則只有一小部分,大部分偵測又來自同一條規則。所以請把它當成 prompt injection 這一類的分數,不是 ATR 的整體覆蓋率。部分屬於 closed-book:有幾條 hunt 車道 規則正是從這份語料漏抓的樣本挖出來的,所以 hunt 數字不完全是樣本外成績。
回歸檢查:ATR 自己的測試案例
96.6%
Recall · hunt
enforce 3.4%
ATR 4.1.5,量測於 2026-10-15
這份語料有一部分就是規則自己的 true positive,分數高是應該的。它檢查的是規則還抓不抓得到當初要抓的東西。它不是基準測試,不要拿來跟左邊比。
在 hunt 車道,precision 是 100.0%,recall 是 65.4%。差這麼多是預料中的事。regex 抓得到它認得的寫法,換個說法、換種語言就漏掉。enforce 車道只載入 stable 規則,要開封鎖就用這條,它的 recall 是 0.4%。
SKILL.md 偵測基準
一份內部、標註過的 SKILL.md 語料,共 498 個檔案(32 個惡意 + 466 個正常;ATR 4.1.5,量測於 2026-10-15)。其中一部分惡意樣本是專門為這個 benchmark 手寫的。Layer A 是明顯的惡意 payload,像 curl | bash、base64 執行、reverse shell。Layer C 是語意型攻擊,像用自然語言下指令、社交工程。這份語料沒有 Layer B(混淆)的樣本。
整體
100.0%
Recall · hunt
enforce 0.0%
依攻擊層 · hunt 車道
Layer A100.0%
明顯的惡意 payload:偵測到 24/24
Layer C100.0%
語意型攻擊:偵測到 8/8
正常樣本1 FP
466 個正常 SKILL.md,誤報 1 個(0.20%)
enforce 車道 只載入 stable 規則,要開封鎖就用這一條。它在 32 個惡意樣本中偵測到 0 個(0.0%)。這次量測沒有逐層的 enforce 數字。
生態系掃描
把規則拿去掃真實的 MCP skill 註冊表。
野外生態系掃描(5 個來源)
101,280
個 skill 掃過
CRITICAL 和 HIGH 算的是偵測結果:被標記的 1,434 個項目一共產生 1,507 筆,一個項目可能有好幾筆。
ClawHub registry 掃描
36,394
個 skill 爬下來
上面的野外掃描是 2026-04-13 跑的。規則的來源還有 CVE 與安全公告的掃描、benchmark 漏抓的樣本,以及貢獻者。規則從 462 條長到現在 main 上的 836 條生效規則,另有 8 條 inert(npm 最新版 [email protected],頁面產生於 2026-11-20)。
數字怎麼來的
數字要別人重跑得出來,才算數。這裡的研究都能重跑。資料集、掃描腳本、評估腳本都用 MIT 授權公開,拿同一版 ATR 跑一遍,你會得到一樣的數字,不然就是證明它錯了。
掃描範圍
五個來源,一共 101,280 個項目(engine v2.0.0,2026-04-13)。最大的三個是 OpenClaw 56,480、ClawHub 36,394、Skills.sh 3,115,另外兩個是 Hermes Agent 和一個 MCP registry 索引。各來源的數字取自各自的爬蟲報告,跟總數不是同一個時間點拍的,所以加起來不會剛好等於總數。每個來源都是透過公開的 HTTP API 或 git repo 爬下來的。
偵測引擎
偵測核心是確定性的。規則用 regex 和 AST 比對,不靠 LLM 推論,同一個輸入在哪裡跑結果都一樣,預設開著的就是這一層。v3.1.0 起另有一個選用的實驗性語意 judge,專門補抓 pattern 漏掉的改寫式攻擊。它預設關閉,要自己打開,也不會動到確定性核心。新規則合併前要過一道安全閘:拿一批良性 skill 語料去跑,不能有任何誤報。
基準測試
precision 和 recall 跑在一份照 PINT 格式自建的語料上。recall 兩條車道 都列,precision 只量 hunt 車道。樣本來自外部公開資料集(deepset/prompt-injections、Lakera/gandalf_ignore_instructions),但後來有幾條 hunt 車道 規則,是從這份語料自己漏抓的樣本挖出來的,所以 hunt 的數字有一部分屬於 closed-book。這份語料是 ATR 自己組的,不是 Lakera 官方的 PINT benchmark。另外還有一組內部的 SKILL.md benchmark,用的是標註過的檔案,其中一部分惡意樣本是專門為它手寫的。
誤報量測
誤報率拿真實的良性樣本來量,也就是經過人工或社群審查的正常 skill:被誤判的良性樣本數,除以掃過的良性樣本總數。數字按車道分開列,不合成一個好看的數字。enforce 車道只跑最成熟的規則,預設的 hunt 車道則把全部規則當成提醒訊號來跑。之前在這裡公布的各車道誤報率已經撤回,等重新量測。原因是當時用的良性語料裡,後來發現混進了真的越獄樣本,基準站不住。重測完成之前,這裡不放數字。每一個已記錄的誤報情境,還是會寫進規則 YAML 的 false_positives 欄位,並顯示在規則頁上。
重現性
掃描 checkpoint、測試集和評估腳本,都公開放在 data/ 和 tests/ 底下。用同一版 ATR 重跑掃描,結果會一模一樣。
外部引用
ATR 本來就是要讓人引用、嵌進去、拿來當基礎的。外部引用記在這裡,還沒有的也照實寫。
目前還沒有公開的引用紀錄。如果你的論文、技術報告或產品文件引用了 ATR,請開一個 GitHub issue 告訴維護者。
引用這個標準
引用格式:Agent Threat Rules (ATR) Project (2026). Agent Threat Rules: An open detection standard for AI agent threats. DOI: 10.5281/zenodo.19178002
原始論文
引用格式:Lin, Kuan-Hsin (2026). The Collapse of Trust. DOI: 10.5281/zenodo.19178002
接下來的研究
下一步,偵測不只看靜態 pattern,也要看 runtime 的行為和語意。難判定的案例,最後再寫回確定性規則。每一步都會出現在 GitHub release 和論文更新裡,外面的人追得到進度。
偵測從靜態 regex 延伸到 runtime 的行為訊號。第一批規則看的是:讀了環境變數又接著連網、工具呼叫頻率不正常、跑出預期外的 shell。
Tier 4 語意評估 + 結晶 pipeline
設計中Tier 3 判不出來的樣本,交給 LLM-as-judge 做語意分析。LLM 找到的東西,再寫成 Tier 2 的 regex 規則放回 ATR。
Sigma:repo 裡有一支轉換腳本(scripts/generate-sigma.py),把 ATR 規則轉成 Sigma YAML。agent 流量還沒有正式的 Sigma logsource,所以它用自訂的 ai_agent logsource,接進 SIEM 時要自己對欄位。ATR 也列在 SigmaHQ 的工具目錄裡。YARA:ATR 沒有官方的編譯器;第三方的 atr-to-yaral 可以把 ATR 規則轉成 Google SecOps 用的 YARA-L 2.0。
ATR 比對的是文字:skill、工具說明這類靜態檔案(上面的生態系掃描就是),以及 runtime 的輸入、輸出和工具呼叫。訓練時埋進模型權重的後門不在這些文字裡,所以從架構上就看不到。要補上這個斷層,得有新技術,把供應鏈來源(model card、訓練資料稽核)和 runtime 的行為指紋接起來。
ATR 偵測不到的東西
要靠這些規則之前,你該先知道它們會漏掉什麼。
換句話說
任何 regex 規則,都能用意思一樣、說法不同的句子繞過。「Ignore previous instructions」會被抓到,「please set aside the guidance you were given earlier」不會。
其他語言
比對條件幾乎都是英文。只有少數規則另外收了中文、日文、韓文、俄文或阿拉伯文的寫法,而且只針對它們原本要抓的那一招。用其他語言寫的注入,或用這幾種語言寫的新招,大多會漏掉。
要看情境的攻擊
「Delete all records」可能是正常指令,也可能是攻擊。regex 只看字面,看不出 agent 有沒有被授權做這件事。
協定層攻擊
ATR 檢查的是內容,不是傳輸。訊息重放、schema 竄改、MCP 傳輸層的中間人攻擊,它都看不到。
拆成很多輪的攻擊
花 20 輪慢慢把信任拉高,每一則訊息單獨看都沒問題。ATR 不會把它們串起來看,每個事件都分開判斷。
新型攻擊
還沒出現過的攻擊,regex 不可能比對得到。新手法要有新規則。
利益揭露:維護者創辦並控制 PANGUARD AI, INC.,這家公司販售以 ATR 為基礎的 agent 資安產品。