數據、Benchmark 和誠實的限制。
ATR 公開發布 evasion test。我們告訴你我們抓不到什麼。
ATR 標準為何存在的完整論述：當 agent 能自主行動，信任不再能假設，偵測必須變成一個任何人都能查核、版本化、社群維護的標準層。涵蓋 RFC-001 品質規範、96,096 個 skill 的生態系掃描（1,302 個被標記、經人工複審確認 552 個惡意），以及把標準從一次性快照變成活飛輪的機制。
掃描 96,096 個 skill、標記 1,302 個風險項，人工複審後確認 552 個惡意軟體。發現三個協同攻擊者（hightower6eu 354、sakaen736jih 212、52yuanchangxing 137）。已通報 NousResearch 並全數加入黑名單。
史上最大規模 AI agent 安全掃描。96,096 個 skill、1,302 個有風險、人工複審後 552 個確認惡意軟體。三個協同攻擊者。工具描述下毒佔偵測的 53%。
MCP 攻擊面實證分析。60 天 30 個 CVE、38% 零認證、7 類攻擊分類學、53K 生態系掃描。比 Docker 前兩年快 15 倍。
Benchmarks
用我們自己的語料庫,以及公開對抗資料集(deepset、Lakera Gandalf、HackAPrompt、garak)測試。
99.7% precision 和 63.6% recall 之間的差距是預期的。Regex 能抓到已知模式，但會漏掉重述和多語言攻擊。
SKILL.md 偵測基準
使用 498 個真實世界的 OpenClaw SKILL.md 檔案測試（32 個惡意 + 466 個正常）。Layer A = 明確惡意指令，Layer C = 混淆/隱藏攻擊。
生態系掃描數據
真實掃描真實的 MCP skill 註冊表。
這個掃描不是一份報告，是一條每天運轉的迴圈。新攻擊出現 → 結晶成偵測規則 → 回流標準：紅隊巨量掃描與 CVE 攝取兩條飛輪各自跑完整輪後轉為每日更新，把規則集從 462 條推進到目前的 708 條（新增 246 條，npm [email protected]）。這就是「標準活著」的意思——不是一次性的快照，而是與威脅同速演化的層。
研究方法論
一個標準的數字只有在別人能複驗時才算數。所有研究都可重現——資料集、掃描腳本、評估腳本全部以 MIT license 開源，任何人都能拿同一版 ATR 重跑，自己得出這些數字，或證明它們是錯的。
六個 registry 共 96,096 個 skill。最大子集：OpenClaw 56,480、ClawHub 36,394、Skills.sh 3,115，加上三個額外 MCP / skill index。每個 registry 透過公開 HTTP API 或 git 倉儲爬取。
偵測核心是確定性的：規則以 regex / AST 比對執行、無 LLM 推論，同一個輸入在任何環境都得到一致的結果——可重現性是前提，也是預設啟用的部分。v3.1.0 起另有一個選用、實驗性的語意 judge 階段，用來補抓 pattern 漏掉的改寫式攻擊；它需手動開啟、預設關閉，不更動確定性核心。每條規則在發布前都會對 36,394 個 ClawHub skill 的 wild 樣本驗證。
Precision / recall 採用外部 PINT dataset（850 樣本），而非自產測試集——避免 overfit 到自家 test cases。另一組 SKILL.md benchmark 從真實 OpenClaw 抓 498 個檔案，其中惡意樣本透過人工標記後作為 ground truth。
誤報率以真實 benign 樣本（通過人工或社群審查的正常 skill）除以總偵測數量測，並逐車道揭露、不用單一數字概括：enforce 車道只跑最成熟的規則（在一個約 65,000 筆的良性語料上約 0.24% 誤報），預設的 hunt 車道把全部規則當建議性訊號跑（約 9%）。一個標準的可信度，取決於它願不願意公開自己最差的數字——所以這裡兩個都列。每條已記錄的誤報情境會寫入 YAML 的 false_positives 欄位，並在規則頁面公開。
掃描 checkpoint、測試集、評估腳本全部在 data/ 和 tests/ 下公開。任何研究者可以用相同的 ATR 版本重跑掃描並取得一致的結果。
外部引用
ATR 的設計目標就是被引用、被內嵌、被別人的工作所依賴。這裡誠實記錄外部引用——包括目前還沒有的部分。
目前尚未有公開引用紀錄。如果你的論文、技術報告或產品文件引用了 ATR，請透過 GitHub issue 通知我們。
Cite as: Agent Threat Rules (ATR) Project (2026). Agent Threat Rules: An open detection standard for AI agent threats. DOI: 10.5281/zenodo.19178002
Cite as: Lin, Kuan-Hsin (2026). The Collapse of Trust. DOI: 10.5281/zenodo.19178002
進行中的研究
飛輪的下一段：把偵測從靜態 pattern 推向 runtime 行為與語意，再讓難判定的案例結晶回確定性規則。每一步都公開在 GitHub release 與 paper 更新，進度可被外部追蹤。
從靜態 regex 擴展到 runtime 行為偵測。初始規則：env 變數存取 + 網路呼叫的組合、工具呼叫頻率異常、非預期 shell 存取。
Tier 3 難以判定的樣本升級給 LLM-as-judge 語意分析；LLM 的發現會結晶成 Tier 2 regex 規則回流到 ATR，完成「適應性免疫 → 先天免疫」的轉換。
將 ATR 規則編譯為 Sigma（SIEM 端）與 YARA（檔案端）格式，讓 agent 威脅偵測融入現有資安偵測管線，不需要重建 pipeline。
ATR 只偵測 runtime 攻擊。訓練階段植入的模型後門在推論時架構上不可見。要橋接這個斷層，需要結合 supply-chain provenance（model card、訓練資料稽核）與 runtime 行為指紋的新技術。
素材來源：ATR-FRAMEWORK-SPEC.md Phase 2-4 路線圖與 主論文未來工作章節。
ATR 無法偵測什麼
我們發布這個章節，因為誠實的限制比虛假的自信更能建立信任。
任何 regex 規則都可以被語義等價的重述繞過。「Ignore previous instructions」會被偵測；「please set aside the guidance you were given earlier」不會。
所有模式都是英文的。用西班牙語、中文、阿拉伯語或任何其他語言寫的注入攻擊會完全繞過。
「Delete all records」可能是合法或惡意的。Regex 匹配模式但不理解授權上下文。
ATR 檢查內容，不檢查傳輸。Message replay、schema manipulation、MCP 傳輸層 MITM 是不可見的。
20 輪對話中的漸進式信任升級，單一訊息無法偵測，ATR 不會關聯。ATR 獨立評估每個事件。
根據定義，regex 無法偵測還不存在的攻擊模式。新技術需要新規則。