PINT 格式(850 個樣本)
ATR 在 PINT 格式語料上的召回率是 65.4% (hunt) / 0.4% (enforce)。語料共 850 個樣本,其中 451 個是攻擊。hunt 車道 在 399 個良性樣本裡誤報 0 次(ATR 4.1.5,量測於 2026-10-15)。部分屬於 closed-book:有幾條 hunt 車道 規則正是從這份語料漏抓的樣本挖出來的,所以 hunt 數字不完全是樣本外成績。這份語料是 ATR 自己用 deepset 和 Lakera Gandalf 的資料組的,不是 Lakera 官方那份不公開的 PINT benchmark。只有一小部分規則會在上面觸發,請把它看成 prompt injection 這一家的分數,不是整體覆蓋率。
HackAPrompt(4,780 個樣本)
HackAPrompt 競賽有 601,757 個 prompt,用固定種子從中抽出 4,780 個樣本,ATR 的召回率是 83.1% (hunt) / 49.0% (enforce)(ATR 4.1.5,量測於 2026-10-19)。這份子集有一部分屬於樣本內。有 20 條規則在 YAML 裡註明出自 HackAPrompt,其中幾條就是從這份子集挖出來的。拿掉這 20 條,同一批樣本的召回率是 28.7% (hunt) / 0.7% (enforce),這是消融參考值,接近樣本外成績但不保證是:沒有註明出自這份語料的規則,仍可能是對著它調過的。這份語料 100% 是攻擊,沒有良性樣本,算不出 precision 或誤報率。別把它當成準確度的證據。
自測(341 個樣本)
ATR 在 341 個內部自測樣本上的召回率是 96.6% (hunt) / 3.4% (enforce)。hunt 車道 在 20 個良性樣本上誤報 0 次(ATR 4.1.5,量測於 2026-10-15)。這份語料跟 SKILL.md benchmark 是分開的,而且是 ATR 自己做的,不能當成樣本外的證據。
garak(in-the-wild 650 / 完整 3,475)
ATR 在 garak 的 in-the-wild 越獄集上,召回率是 92.3% (hunt) / 0.9% (enforce),共 650 個 prompt。在完整的 garak probe 套件上是 57.2% (hunt) / 0.5% (enforce),共 3,475 個 prompt(ATR 4.1.5,量測於 2026-10-15)。兩份都部分屬於 closed-book(等於看過考題):在上面開火的規則有不少正是從它們寫出來的,完整套件還把 in-the-wild 集收了兩次,所以兩個 hunt 數字都不是樣本外的成績。