跳到內容
Agent Threat Rules (ATR)EN

勘誤 — Errata

勘誤

這裡記錄 ATR 規格各個已發布版本裡找到的錯誤,像 W3C、IETF 的規格一樣公開保存。已發布的版本不會再改,裡面的錯就在這裡公開更正,並註明是誰發現的。每一筆都寫明受影響的版本、錯在哪裡、更正後的文字,以及更正發布的日期。

Working Draft·規格版本 1.0.1 (日期 2026-10-19)·npm 4.3.1·頁面產生於 2026-11-20·正式網址 /spec·編者 Adam Lin

勘誤紀錄

三個威脅行為者頁面(/threats)把這次攻擊活動的通報 issue,也就是 NousResearch hermes-agent #9809,標為 OPEN。NousResearch 在 2026-04-15 以 completed 關閉了這個 issue,距提出約六小時;這三頁是在它關閉之後才加上的,從一開始就標錯,現已改為 closed。為了不讓這類標示再過期,website/data/status-claims.json 現在記錄網站、README.md、DEPLOYMENTS.md 與 STANDARDIZATION-STATUS.md 以連結或 owner/repo#N 提到的每一個其他 repo 的 pull request 或 issue,以及頁面寫的狀態。有兩類交給其他檢查:red-team 頁的清單(有自己的檢查),以及 ADOPTERS.md 作為證據列出的已合併 pull request。這些頁面連到清單沒有記錄的項目時 npm test 會失敗,每週也有排程逐一對 GitHub 檢查記錄的狀態。

受影響版本
2.0.1–4.3.0
章節
Threat actor pages — report status
發布日期
2026-11-07

integrate 頁對 Cisco AI Defense 開源 skill-scanner 的案例說,第一個 pull request #79 花了三天合併,並顯示「3 天 首次提交到合併」。2026-04-07 到 2026-05-23 之間,這一頁還說 #79 是 Cisco 的工程師提交、由 ATR 審查;首頁也從 2026-04-07 起講同樣的版本、同樣是三天,直到 2026-06-14 改版時移除。實際上方向相反,也更快:#79 由 ATR 維護者在 2026-04-02 04:44 UTC 開啟,該 repo 的維護者在 2026-04-03 02:00 UTC 合併,相隔 21 小時。2026-11-06 的網站改版已更正 integrate 頁,現在寫明 #79 由 ATR 維護者開啟、Cisco 的維護者隔天合併。

受影響版本
1.0.0–4.3.0
章節
Integrate page — Cisco AI Defense case study
發布日期
2026-11-07

124 個規則檔原本寫部署這條規則就「satisfies」(滿足)某條 EU AI Act 條文(或某個 NIST、ISO、OWASP 項目)。docs/COMPLIANCE-COVERAGE-POLICY.md 只允許寫「provides detection evidence supporting …」(提供偵測證據,支持……):偵測規則是在支持一項控制措施,不等於履行了一項要求。這 135 行現在改寫成「provides detection evidence supporting」、「supports」,OWASP 類別則寫「matches」。只有 compliance 欄位裡的說明文字改了;compliance 以外的欄位完全相同,所以偵測結果不變,rule_version 也都沒動。scripts/validate-compliance.ts 現在遇到宣稱合規的說明文字(「satisfies the Article …」、「makes … compliant」、「ensures compliance」)會讓 CI 失敗。已在 4.3.0 修正。

受影響版本
4.2.4
章節
Rule files — compliance mapping context (EU AI Act, NIST, ISO, OWASP)
發布日期
2026-11-04
查看勘誤

/red-team 頁面與 2.2.0 版 CHANGELOG 原本寫 HackAPrompt 召回率從 28.6% 升到 66.2%、precision 100%,並說該次 sprint 的 75 條規則與 2026-06 巨量掃描的 29 條規則都通過品質門檻、良性樣本 0 誤報。2026-10-19 重跑結果:在同一份 4,780 筆 HackAPrompt prompt 上,66.2% 在 sprint 的兩個 commit(e9efefdd、92c0d0fe)都無法重現(分別為 65.0% 與 66.0%);28.6% 本身也屬樣本內;這份語料沒有良性樣本,所以根本沒有量過 precision。sprint 的兩個 commit 新增的是 71 個規則檔(75 另外算進了同一天稍早、在 sprint 之前由 commit 80dbd0ab 加入的 4 條 CVE 規則)。門檻當時的執行紀錄沒有 commit;重跑後,在 92c0d0fe 時 71 條中有 10 條未通過(true positive 沒命中),沒有一條在良性 SKILL.md 上誤報;在 2026-10-22 的 main(b9d16840)上,71 條中 33 條、29 條中 4 條未通過(與 2026-10-19 在 9d74fc50 的結果相同),其中 26 條與 3 條至少誤報 1 筆良性樣本,都不在 enforce lane。頁面現在引用這些實測(data/gate-reruns/2026-10-19_red-team-rule-batches.json、data/hackaprompt/METHOD.md),並在每個語料庫的召回率旁附上量測檔中的消融參考值。

受影響版本
2.2.0–4.1.5
章節
/red-team: 2026-05-12 sprint and 2026-06 mega-scan sections; CHANGELOG 2.2.0
發布日期
2026-10-19
查看勘誤

SPEC.md 1.0.0 第 6.4 節(2026-07-19 修訂)原文:「A conforming Engine MUST strip that leading group from the pattern and apply the corresponding RegExp flags (i, m, s).」照這句話,沒有 (?i) 的 pattern 會區分大小寫,(?s) 與 (?m) 會開啟 dotAll 與 multiline 模式。參考引擎與 pyATR 都不是這樣運作:它們移除該群組後,所有 regex 條件一律不分大小寫比對,m、s、x 不起作用。conformance 測試套件中有七個自 2026-05-16 起未變動的 true-positive fixture 需要不分大小寫比對,照這句話實作的引擎無法通過第 12 節。SPEC.md 1.0.1 改為描述參考引擎的實際行為;沒有任何規則、fixture 或參考引擎的比對結果因此改變。Sigma 匯出工具已不再把 m 與 s 複製進輸出的 pattern。issue #698 列出的其他 repo 內匯出工具(generic-regex、Splunk、Elastic、Sage 轉換器,PyRIT digest、Cisco Skill Scanner 規則包、Pipelock bundle 和 RAMPART 評估器)已由 #706、#710、#711 修正,隨 4.2.2 發布。issue #698 仍開著,追蹤 repo 外的兩個整合:atr-to-yaral(#559)與 prompt-protection(#572)。

受影響版本
3.5.12–4.1.5
章節
SPEC.md §6.4 Regular-Expression Dialect (ATR Core 1.0.0)
發布日期
2026-10-19
查看勘誤

red-team 頁把七個提案列為「審查中」。其中六個(HarmBench #93、AgentDojo #160、JailbreakBench #48、Counterfit #96、PromptInject #9、Damn Vulnerable MCP Server #29)從來沒有維護者回覆,第七個 NVIDIA garak PR #1676 從四月起停在 changes-requested。七個都沒有合併:ATR 作者在 2026-08-04 撤回 garak #1676,其餘六個在 2026-10-14 與 2026-10-15 撤回。這些已從頁面移除;garak、主權 AI 與負責任使用三頁也不再把 garak 整合寫成進行中,主權 AI 頁並拿掉沒有出處的 garak「32/32」對應數字。integrate 頁說 OWASP PR 審查中,其實沒有任何一個還開著。red-team 頁的「下一波」排程列的是五、六月的送出日期,日期已過、多數沒有送出,整段移除。garak 頁說規則 PR 會自動合併;repo 已關閉 auto-merge,每個 PR 都由維護者合併。這一頁原本連到一支已移出公開 repo 的橋接腳本,現在照實說明。

受影響版本
4.1.5
章節
Site-wide — integration and proposal status
發布日期
2026-10-16

主權 AI 頁說 ATR 偵測的是行為意圖而不是字串特徵,攻擊者無法繞過。ATR 的規則幾乎都是 regex(少數規則另外定義了選用的模型判斷,只有使用者自行設定時引擎才會呼叫),改寫、翻譯或編碼過的 payload 都可能繞過。負責任使用頁與 integrate 頁說 ATR 在各規則的 evasion_tests 欄位記錄了 64 種繞過手法,research 頁的連結也寫「64 個 evasion test」;其實不到一半的規則附有 evasion tests,64 是 2026 年 3 月時的數字。

受影響版本
4.1.5
章節
Site-wide — detection method and evasion
發布日期
2026-10-16

網站把 ATR 的延遲寫成不到一毫秒、低於 5ms、5ms 的 pattern match,或 47ms 完成一次掃描。每次評估的耗時會隨輸入長度和該 lane 的規則數增加:載入全部規則時,短 prompt 的中位數約一毫秒,數 KB 的 SKILL.md 檔要數十毫秒;單次執行還要先花數百毫秒到約一秒啟動 Node、載入規則。scripts/bench-evaluate-latency.ts 可以在你的硬體上實測。網站也說這個套件沒有任何相依套件;它有兩個執行期相依套件。

受影響版本
4.1.5
章節
Site-wide — latency and dependencies
發布日期
2026-10-16

red-team 頁與治理頁說每條規則都在 metadata_provenance.discovered_by 記錄發現者;其實沒有任何一條規則有這個欄位。每條規則都有 author 欄位和固定的 ID,836 條中有 378 條在 metadata_provenance 記錄來源。首頁、red-team、關於與品質標準四頁說標準靠每日自動結晶從 462 條長大;v3.1.0(2026-06-04)之後新增的 374 條規則沒有一條來自結晶,而是來自 CVE 與安全公告掃描、benchmark 漏報挖掘與貢獻者,每一條都經由維護者合併的 pull request 進入 main。關於頁也說 v2.0.11 的規則涵蓋完整的 NVIDIA garak probe corpus;其實是其中不少條從它寫出來。

受影響版本
4.1.5
章節
Site-wide — rule provenance and growth
發布日期
2026-10-16

本站、LIMITATIONS.md 與 CITATION.cff 上的召回率過去都只列一個數字:hunt 車道(引擎預設,載入所有成熟度的規則),沒有列 enforce 車道(開啟封鎖時要用、只載入 stable 規則,在同一批攻擊上偵測到的少得多)。其中多數還是在 ATR 3.5.12 時手寫的。現在凡是從量測檔讀出的召回率都標明車道,量測有記錄的就並列 enforce 數字,並在建置時從各 latest.json 指向的量測檔讀取。garak、PINT 格式與 HackAPrompt 的數字現在都標為部分 closed-book:有規則正是從這些語料寫出來的,所以它們的 hunt 數字不是樣本外成績。

受影響版本
4.1.5
章節
§8 Evaluation — recall lanes
發布日期
2026-10-16

enforce 與 hunt 兩條車道所公布的誤報率數字已撤回。量測所用的良性語料被發現混入真實越獄樣本,量測基準站不住。在重測結果發布前,任何人都不應引用這些數字。車道定義本身不變。

受影響版本
3.5.0
章節
§8 Evaluation — detection lanes
發布日期
2026-09-22

野外掃描的頭條數字已凍結。僅 data/full-scan-v2-2026-04-14.json 的總數可對外引用:101,280 個掃描項目、1,434 個標記項目,engine v2.0.0,資料日期 2026-04-13。本站過去引用的分析子集總數與「已確認惡意」數量已撤回 —— 該集合是以整個帳號為單位裁定的發布者層級歸因,不是逐檔判讀,也推導不出 precision。

受影響版本
2.0.0
章節
§8 Evaluation — wild scan
發布日期
2026-09-22

過去為 PINT 格式語料公布的單一 precision 數字已撤回,改以 data/measurements/pint/latest.json 的版本綁定量測為準:recall 65.4%,在該語料 399 個良性樣本上 0 誤報(ATR 3.5.12,量測於 2026-08-15)。該語料是以 deepset/prompt-injections 與 Lakera/gandalf_ignore_instructions 自建的 PINT 格式語料,不是 Lakera 官方 PINT benchmark 的跑分,且只有一小部分規則會在上面開火。

受影響版本
3.5.12
章節
§8 Evaluation — PINT-format corpus
發布日期
2026-09-22

採用說法已修正。本站過去把廠商開源 repo 裡已合併的 PR 寫成「廠商生產環境部署」。實際上那是公開 repo(尤其是 cisco-ai-defense/skill-scanner)裡已合併的 pull request,不是對任何廠商商業產品的陳述。現在每一筆採用紀錄都直接以已合併的 PR 作為佐證。

受影響版本
3.5.12
章節
§7 Conformance — implementer report
發布日期
2026-09-22

最後更新: 2026-11-07

如何回報勘誤

勘誤回報是公開審查的一環,任何人都可以提。若你在規格中發現錯誤,請於 ATR repository 開立 issue。內容請包含:受影響之版本、所在章節 (如 §3.5)、目前的錯誤文字、建議的更正、以及任何可驗證之參考資料。維護者會於合理時間內審查;一經確認,即加入上方紀錄,並標明來源。錯誤不會被悄悄改掉——它會留下紀錄。

勘誤更正的是文字,不是規範本身——它不視為規格變更。實質性的語意修改另以新版本發布,並於 /changelog 標註為 [Breaking] 或 [Compatible]。這條界線讓引用本規格的人清楚知道:勘誤永遠不會在他們腳下改動規則的意義。


編輯: Adam Lin <[email protected]> — DOI 10.5281/zenodo.19178002 — MIT License — ISO 8601 2026-10-19