首個具備
來源追溯的
AI Agent 規則標準
每條規則都有可計算的信心分數。每個對應都有可審計的來源。沒有黑箱、沒有鎖定,只有公開的公式、開源的程式碼、以及真實世界的資料。
信心分數是數字,不是意見
每個組成都由可測量的事實計算而來。公式是公開的 — 你可以自己跑。
Measured false-positive rate on real-world corpora.
How much real data the rule has survived.
Detection depth — distinct attack layers covered.
Honest acknowledgment of known bypass techniques.
雙維度合規模型
業界首創:將「規則有沒有必要 metadata」與「誰驗證的」分開處理。
規則有沒有必要的 metadata?偵測條件、test cases、OWASP + MITRE 對應、false positive 文件。機器可在毫秒內驗證。
validateRuleMeetsStandard(rule)誰驗證了 metadata?human-reviewed、community-contributed、auto-generated 或 llm-generated。升級 stable 要求「已驗證來源」,不只是「有」。
metadata_provenance: { mitre_atlas: human-reviewed }傳統的規則標準(Sigma、YARA、OWASP CRS)把合規視為二元 — 有就過、沒有就不過。這造成逆向誘因:廠商為了通過檢查而填入 metadata,但並未真正審核。
ATR 將這兩個維度分開。自動生成的對應可以通過 experimental gate 以便快速迭代。升級到 stable — 企業在生產環境會封鎖的層級 — 要求人工 review。快速迭代和誠實信任,同時存在。
每條規則都有明確的晉升門檻
晉升需要通過明確、機械化的條件。降級在品質退化時自動觸發。
Valid schema · ≥1 TP + 1 TN · no ReDoS
Not deployed
3+ TP + 3+ TN · CI pass · OWASP + MITRE mapping encouraged (not required) · evasion tests encouraged (not required)
Alert-only
Wild-validated (1,000+ samples) · FP rate ≤ 0.5% · human-verified provenance · ≥3 evasion tests
Block in production
Stable 規則若野外 false positive rate 超過 2%,或 30 天內累積 3 次未解決的 FP 回報,會自動降級為 experimental。不需人工決策。系統自我修正。
一條規則在抵達生產環境前要過六關
LLM 草擬的規則必須通過六個獨立的驗證階段才能保護使用者。每個階段都有機械化、公開的判斷條件。
LLM Drafter
Claude Sonnet generates a YAML rule against a strict prompt requiring 3+ conditions, 5+ TP/TN, 3+ evasion tests, and OWASP + MITRE mapping.
Syntax Gate
Regex extraction, invalid pattern rejection, PCRE-to-JS normalization. Broken rules are dropped with logged reasons.
Quality Gate
The RFC-001 formula runs: detection depth, test coverage, reference mapping, documentation completeness. Below the bar — rejected.
Canary Observation
Accepted rules enter a canary window. Independent confirmations and wild FP measurements gate further promotion.
Human Review
Provenance starts as llm-generated. Human review upgrades to human-reviewed before the rule can reach stable.
Upstream PR
Promoted rules open pull requests against the public ATR repository for open review and merge.
ATR-2026-DRAFT-8f3c9a72Hidden Credential Exfiltration with Silent Execution Override
llm-generated誠實標記為 LLM 生成。信心分數封頂 70,直到人工 review 升級為 human-reviewed。
ATR 與既有規則標準的比較
Sigma、YARA、OWASP CRS、Suricata 解決了惡意軟體、SIEM、WAF、IDS 的這個問題。還沒有人替 AI agent 解決 — 直到現在。
| 功能 | ATR | Sigma | YARA | OWASP CRS | Suricata |
|---|---|---|---|---|---|
| Maturity ladder with explicit gates | ✓ | ✓ | — | ✓ | ✓ |
| Formula-based confidence score (0–100) | ✓ | — | — | — | ~ |
| Wild validation required for production | ✓ | — | — | — | — |
| Per-field provenance tracking | ✓ | — | — | — | — |
| Automatic demotion on quality regression | ✓ | — | — | — | — |
| Open-source reference implementation | ✓ | ✓ | ✓ | ✓ | ✓ |
ATR 是唯一要求野外掃描驗證、測量 FP rate 並在品質退化時自動降級的標準。
別相信我們,執行驗證器
每個 function 都是純函式、開源、有文件。你可以在一分鐘內對自己的規則(或我們的)計算分數。
npm install agent-threat-rules
import {
parseATRRule,
computeConfidence,
validateRuleMeetsStandard,
} from 'agent-threat-rules/quality';
const rule = parseATRRule(yamlContent);
const score = computeConfidence(rule);
const gate = validateRuleMeetsStandard(rule, 'stable');
console.log('Confidence:', score.total); // 0-100
console.log('Passes stable:', gate.passed);
console.log('Issues:', gate.issues);