具備
來源追溯的
AI Agent 規則品質標準
一個偵測標準的可信度,取決於它願不願意公開自己最差的數字。每條規則都有可自行計算的信心分數,每個對應都有可審計的來源,每條偵測車道的誤報率都逐車道揭露——不是用單一個好看的數字概括。沒有黑箱、沒有廠商鎖定:只有公開的公式、開源的程式碼、以及在真實世界存活過的資料。
哪些規則是人工審核的，哪些是 LLM 生成的。
ATR 公開這個數字，因為任何下游採用者都應該在評估信任度時知道它。
規則創始時由人工撰寫，或已通過人工 review 升級到 stable。這些規則的 metadata_provenance 標記為 human-reviewed。
由 LLM 草擬，通過語法關 + RFC-001 品質關 + 0 FP benign corpus 驗證。標記為 llm-generated，信心分數上限 70，直到人工 review。
非常字面的模式，從特定語料庫取出。泛化這些規則會帶來無法接受的 FP。保留為 experimental，不用於生產封鎖，明確標注。
LLM 生成的規則為什麼可以信任？因為雙重閘門設計讓來源和信任度是分開追蹤的。LLM 生成的規則可以通過 experimental gate 快速迭代；升級到 stable（企業在生產環境封鎖的層級）需要人工 review。採用者可以自己決定：只部署 human-reviewed 規則、只部署 stable、或者兩者都用。
規則集每天透過自動結晶飛輪擴張,新生成的規則大多先標記為 LLM 生成(雙重閘門驗證)。human-reviewed 的比例隨著人工 review 持續積累而上升——而這個比例本身,是公開的。
信心分數是數字,不是意見
每個組成都由可測量的事實計算而來。公式是公開的 — 你可以自己跑。
Measured false-positive rate on real-world corpora.
How much real data the rule has survived.
Detection depth — distinct attack layers covered.
Honest acknowledgment of known bypass techniques.
雙維度合規模型
將「規則有沒有必要 metadata」與「誰驗證的」分開處理。LLM 只在撰寫階段參與;偵測核心本身是 deterministic regex / AST 比對,執行時不呼叫 LLM。
規則有沒有必要的 metadata?偵測條件、test cases、OWASP + MITRE 對應、false positive 文件。機器可在毫秒內驗證。
validateRuleMeetsStandard(rule)誰驗證了 metadata?human-reviewed、community-contributed、auto-generated 或 llm-generated。升級 stable 要求「已驗證來源」,不只是「有」。
metadata_provenance: { mitre_atlas: human-reviewed }傳統的規則標準(Sigma、YARA、OWASP CRS)把合規視為二元 — 有就過、沒有就不過。這造成逆向誘因:廠商為了通過檢查而填入 metadata,但並未真正審核。
ATR 將這兩個維度分開。自動生成的對應可以通過 experimental gate 以便快速迭代。升級到 stable — 企業在生產環境會封鎖的層級 — 要求人工 review。快速迭代和誠實信任,同時存在。
每條規則都要靠證據往上爬一階
draft → experimental → test → stable → deprecated。每一階的晉升條件都是明確、機械化的——不是靠規則放著夠久,而是靠它累積的證據。品質退化時降級自動觸發,不需人工決策。
Valid schema · ≥1 TP + 1 TN · no ReDoS
Not deployed
3+ TP + 3+ TN · CI pass · OWASP + MITRE mapping encouraged (not required) · evasion tests encouraged (not required)
Alert-only
Canary observation passed · wild FP measured · no unresolved false-positive reports in the canary window
Alert-only, promotion candidate
Wild-validated (1,000+ samples) · FP rate ≤ 0.5% · human-verified provenance · ≥3 evasion tests
Block in production
Superseded or demoted · retained for provenance · engines MUST NOT enable by default
Off by default
Stable 規則若野外 false positive rate 超過 2%,或 30 天內累積 3 次未解決的 FP 回報,會自動降級為 experimental。不需人工決策。系統自我修正。
成熟度決定一條規則被允許做什麼
階梯不只是個標籤,它驅動三條偵測車道。每條車道是「放行哪些成熟度」與「對誤報的容忍度」之間,一個明擺著的取捨——而每條車道的誤報率,都各自公開。
只放行最成熟、經人工確認的規則。精確度買來的代價是召回率下降——這是刻意的取捨,擺在明處,讓在生產環境封鎖的人自己選。
納入晉升候選的 test 規則,只告警、不封鎖。在誤報傷不到使用者的前提下,擴大被看見的攻擊面。
把所有規則當作建議性訊號全開,給做威脅獵捕的人最大的可見度。約 9% 的誤報率不是被藏起來的瑕疵——它就印在這裡,因為這條車道從不自動封鎖任何東西。
0.24% 與 9% 是同一套規則、兩條車道的真實數字。把它們並排印出來,而不是只報那個漂亮的,是這個標準對「品質」的定義:一個標準的可信度,取決於它願不願意公開自己最差的數字。採用者拿到的不是一個被擦亮的承諾,而是一張可以自己驗證的取捨表。
一條規則在抵達生產環境前要過六關
LLM 草擬的規則必須通過六個獨立的驗證階段才能保護使用者。每個階段都有機械化、公開的判斷條件。
LLM Drafter
Claude Sonnet generates a YAML rule against a strict prompt requiring 3+ conditions, 5+ TP/TN, 3+ evasion tests, and OWASP + MITRE mapping.
Syntax Gate
Regex extraction, invalid pattern rejection, PCRE-to-JS normalization. Broken rules are dropped with logged reasons.
Quality Gate
The RFC-001 formula runs: detection depth, test coverage, reference mapping, documentation completeness. Below the bar — rejected.
Canary Observation
Accepted rules enter a canary window. Independent confirmations and wild FP measurements gate further promotion.
Human Review
Provenance starts as llm-generated. Human review upgrades to human-reviewed before the rule can reach stable.
Upstream PR
Promoted rules open pull requests against the public ATR repository for open review and merge.
ATR-2026-DRAFT-8f3c9a72Hidden Credential Exfiltration with Silent Execution Override
llm-generated誠實標記為 LLM 生成。信心分數封頂 70,直到人工 review 升級為 human-reviewed。
ATR 與既有規則標準的比較
Sigma、YARA、OWASP CRS、Suricata 解決了惡意軟體、SIEM、WAF、IDS 的這個問題。還沒有人替 AI agent 解決 — 直到現在。
| 功能 | ATR | Sigma | YARA | OWASP CRS | Suricata |
|---|---|---|---|---|---|
| Maturity ladder with explicit gates | ✓ | ✓ | — | ✓ | ✓ |
| Formula-based confidence score (0–100) | ✓ | — | — | — | ~ |
| Wild validation required for production | ✓ | — | — | — | — |
| Per-field provenance tracking | ✓ | — | — | — | — |
| Automatic demotion on quality regression | ✓ | — | — | — | — |
| Open-source reference implementation | ✓ | ✓ | ✓ | ✓ | ✓ |
ATR 是唯一要求野外掃描驗證、測量 FP rate 並在品質退化時自動降級的標準。
別相信我們,執行驗證器
每個 function 都是純函式、開源、有文件。你可以在一分鐘內對自己的規則(或我們的)計算分數。
npm install [email protected]
import {
parseATRRule,
computeConfidence,
validateRuleMeetsStandard,
} from 'agent-threat-rules/quality';
const rule = parseATRRule(yamlContent);
const score = computeConfidence(rule);
const gate = validateRuleMeetsStandard(rule, 'stable');
console.log('Confidence:', score.total); // 0-100
console.log('Passes stable:', gate.passed);
console.log('Issues:', gate.issues);