跳到內容
Agent Threat Rules (ATR)EN
標準對照

框架替威脅取名字,ATR 負責把它抓出來。

MITRE ATLAS、OWASP、NIST AI RMF、ISO 42001 等六份框架,說明的是什麼可能出錯。ATR 是能實際執行的那一層:規則會在真實的 agent 檔案上觸發。每條規則都附有對這六份框架的對照,由 CI 強制檢查。

這些數字怎麼讀

下面每個召回率都標了車道。先列 hunt,量測有記錄 enforce 的,再接著列 enforce。hunt 車道是引擎預設,載入所有成熟度的規則。enforce 車道只載入 stable 規則,要開封鎖就用這一條,所以該看的是它的數字。誤報數字只在 hunt 車道量過。

PINT 格式(850 個樣本)

ATR 在 PINT 格式語料上的召回率是 65.4% (hunt) / 0.4% (enforce)。語料共 850 個樣本,其中 451 個是攻擊。hunt 車道 在 399 個良性樣本裡誤報 0 次(ATR 4.1.5,量測於 2026-10-15)。部分屬於 closed-book:有幾條 hunt 車道 規則正是從這份語料漏抓的樣本挖出來的,所以 hunt 數字不完全是樣本外成績。這份語料是 ATR 自己用 deepset 和 Lakera Gandalf 的資料組的,不是 Lakera 官方那份不公開的 PINT benchmark。只有一小部分規則會在上面觸發,請把它看成 prompt injection 這一家的分數,不是整體覆蓋率。

HackAPrompt(4,780 個樣本)

HackAPrompt 競賽有 601,757 個 prompt,用固定種子從中抽出 4,780 個樣本,ATR 的召回率是 83.1% (hunt) / 49.0% (enforce)(ATR 4.1.5,量測於 2026-10-19)。這份子集有一部分屬於樣本內。有 20 條規則在 YAML 裡註明出自 HackAPrompt,其中幾條就是從這份子集挖出來的。拿掉這 20 條,同一批樣本的召回率是 28.7% (hunt) / 0.7% (enforce),這是消融參考值,接近樣本外成績但不保證是:沒有註明出自這份語料的規則,仍可能是對著它調過的。這份語料 100% 是攻擊,沒有良性樣本,算不出 precision 或誤報率。別把它當成準確度的證據。

自測(341 個樣本)

ATR 在 341 個內部自測樣本上的召回率是 96.6% (hunt) / 3.4% (enforce)。hunt 車道 在 20 個良性樣本上誤報 0 次(ATR 4.1.5,量測於 2026-10-15)。這份語料跟 SKILL.md benchmark 是分開的,而且是 ATR 自己做的,不能當成樣本外的證據。

garak(in-the-wild 650 / 完整 3,475)

ATR 在 garak 的 in-the-wild 越獄集上,召回率是 92.3% (hunt) / 0.9% (enforce),共 650 個 prompt。在完整的 garak probe 套件上是 57.2% (hunt) / 0.5% (enforce),共 3,475 個 prompt(ATR 4.1.5,量測於 2026-10-15)。兩份都部分屬於 closed-book(等於看過考題):在上面開火的規則有不少正是從它們寫出來的,完整套件還把 in-the-wild 集收了兩次,所以兩個 hunt 數字都不是樣本外的成績。

OWASP Agentic
10/10
SAF-MCP(候選)
55/78
OWASP AST10
7/10
PINT F1 · hunt
79.1

OWASP Agentic Top 10

10/10 個類別,每一類都有實際會觸發的規則。不是打勾,是偵測。

ASI01
Agent Goal Hijack
13
STRONG
ASI02
Tool Misuse & Exploitation
11
STRONG
ASI03
Identity & Privilege Abuse
9
STRONG
ASI04
Agentic Supply Chain Vulnerabilities
8
STRONG
ASI05
Unexpected Code Execution / RCE
8
STRONG
ASI06
Memory & Context Poisoning
8
STRONG
ASI07
Insecure Inter-Agent Communication
5
MODERATE
ASI08
Cascading Failures
4
MODERATE
ASI09
Human-Agent Trust Exploitation
5
MODERATE
ASI10
Rogue Agents
7
MODERATE

OWASP Agentic Skills Top 10 (AST10)

7/10 個類別有規則覆蓋。AST07、AST08、AST10 沒有規則。對應表把 AST07、AST08、AST10 列為流程或後設層面的問題,沒辦法用 pattern 偵測。狀態只看 stable(enforce 車道)規則的數量,不代表該項控制已經做到。

AST01
Malicious Skills
214
STRONG
AST02
Supply Chain Compromise
58
PARTIAL
AST03
Over-Privileged Skills
257
STRONG
AST04
Insecure Metadata
123
MODERATE
AST05
Untrusted External Instructions
362
STRONG
AST06
Weak Isolation
138
STRONG
AST07
Update Drift
0
GAP (process-level)
AST08
Poor Scanning
0
GAP (process-level)
AST09
No Governance
40
MODERATE
AST10
Cross-Platform Reuse
0
GAP (process-level)

SAF-MCP

SAF Framework Model v2 的有效技術裡,有 55/78 項至少對到一條審查過的 ATR 規則,對應程度是 partial 或 adjacent。每一組對應都是看規則實際的 pattern 提出來的,兩位獨立審查者都同意才留下。這些是候選對照,SAF 沒有驗證過,也不代表偵測成效。adjacent 只補充旁邊的脈絡,光靠它偵測不到這項技術。沒有對應規則的技術,列在對應表最後面。

到 GitHub 看完整的 SAFE-MCP 對應表

MITRE ATLAS

每條規則的 YAML 都帶 MITRE ATLAS 參照。ATR 逐條把規則對到六個框架:ATLAS、OWASP Agentic、OWASP LLM、EU AI Act、NIST AI RMF、ISO 42001,這是其中一環。沒有對應的規則進不了 main,由 CI 把關。規則瀏覽器裡按戰術分組。

看有 MITRE 對應的規則

利益揭露:維護者創辦並控制 PANGUARD AI, INC.,這家公司販售以 ATR 為基礎的 agent 資安產品。