跳转至

Awesome Auditable AI — 读记：188 条 / 9 节 / 132 arXiv，一份 curated list 把 AI agent 可审计性从口号变成可靠性工程

🌐 语言 / Language：中文 · English

Provenance（来源与元数据）
idmarginalia-011
titleAwesome Auditable AI — 读记：188 条 / 9 节 / 132 arXiv，一份 curated list 把 AI agent 可审计性从口号变成可靠性工程
date2026-08-17
published2026-08-17
kindanalysis（研究地图汇编笔记）
issue26

Awesome Auditable AI

暂名 Auditable Agents Atlas（可审计智能体图谱）。这是一份"对一个开源仓库做系统阅读"的随想：克隆 Yue Zhao 维护的 awesome-auditable-ai，把它的 188 条按九节读一遍，跑一次自带的 inventory.py 与 LINK-AUDIT.md 复核数字，记下它奠定了什么、把哪些问题留作洞、这些洞与我手上的研究议程如何接缝。结论先放在开头：这份 list 把"AI agent 的可审计性"从一句口号变成了一门"可靠性工程 + 决策问责"的合题，并且它把自身作为可审计 artifact 来示范——条目可点数、链接可复跑、evidence level 可逐行核对。

随想

"AI agent 能不能审计"这件事被讨论了几年，但长期卡在概念阶段：agent identifier、activity logging、post-hoc review，每个词都被用过，每个词都没有公认标尺。直到 2025–2026 这一年多，三件事同时出现，迫使工程化：

  1. 谁该背锅的基准出现了——Who&When (ICML 2025) 在 184 个标注失败任务上给出数字：三种归因方法里最强一种，识别责负 agent 53.5%、决定性错误步 14.2%。卡在过半、且决定性错误步不到两成，意味着"多智能体系统出问题了，没人能事后说清楚是谁、是哪步"。这条 53.5% / 14.2% 是整份 list 的开场数字，也是下面所有归因工作的挂载点。
  2. 能力—可靠性的剪刀差被量化了——Towards a Science of AI Agent Reliability (ICML 2026) 用 12 项指标 × 15 个模型证实 "agent capability is rising much faster than agent reliability"。能力涨得快、可靠性几乎没涨的代价，跑完才看见，不是跑的时候看见。
  3. 记录质量真的能抹平这条差——TraceElephant (ACL 2026) 报告：完整执行轨迹把步级归因从 17% 抬到 30%，相对增益 76%。日志的"厚度"而非"有无"才决定能不能审。

这三条加起来构成 list 维护者 Yue Zhao（PyOD 与 ADBench 的作者，USC-FORTIS 实验室）的主张：可靠性是通路，可审计是终点；不可靠的 agent 即便记日志也审不了。 list 名为 "Auditable AI"，副标题写的是 "auditing AI agents"，前导 NOTE 单把 auditability 拆成"agent 做了什么、依赖了什么、为何而动、动得对不对"四问——按可靠性工程术语，前三问靠监控与故障归因支撑，最后一问靠决策记录支撑。所以这份 list 的真实骨架是 reliability engineering + decision accountability，auditability 只是它的读者界面。

它是"研究地图"还是"数据集"?

两种身份都有。

  • 研究地图：9 节从综述一路走到标准，覆盖论文 / 工具 / 数据集 / 标准 / 框架，每条带 venue 字段与一句事实摘。venue 字段诚实——69 条署名 venue、65 条标 Preprint，不把 workshop 提级为主会，也不滥用"已收录"模糊非存档会场（见 CONTRIBUTING.md 的 venue 规约）。
  • 可被审计的 artifact 本身：tools/check_links.py 在每个 PR 跑数据-标题核对，threshold 是 1.0，相似度 0.80 以上不露出来固然不报，连"Part I" 与 "Part II" 这种 0.995 相似的也当作 disagreement。2026-08-17 那次 audit run，跨 262 destination、129 个 arXiv 标题、132 个 arXiv ID——零分歧。它把自家 4 个 status badge 和它们背后的页面专门列在 "Repository Chrome Not Audited" 下面，避免"自家页面被 rate limit 反过来让 audit 误判"。这一处细节是把 curated list 当研究 artifact 做的范式。

要复跑权威条目量：

$ python tools/inventory.py README.md
entries (occurrences)      188
  across sections          9
    Surveys and Foundations                          8
    Failure Attribution and Diagnosis                25
    Reliability and Robustness                       11
    Runtime Monitoring and Guardrails                28
    Audit Trails and Decision Records                19
    Security Auditing and Scanners                   23
    Datasets and Benchmarks                          29
    Tools and Platforms                              21
    Standards and Governance                         24
table rows                 134
  venue named              69
  labelled Preprint        65
arXiv links (occurrences)  133
arXiv papers (unique)      132
  repeated arXiv URL       1 ['2601.06112']
cross-listed papers        5
GitHub repositories        87
Standards section labels   {'Standard': 16, 'Framework': 1, 'Tool': 1}

数字与 README 引言自告的数字一字不差。这种"作者声称 → 脚本复算 → 引文核验三层"且自我公示的设计，本身就是用户 [[corpus-first-research-approach]] 方法的同构版本——先把原样内容（仓库克隆）拿到，再做综合，绝不基于二手摘要动笔。

9 节一节一节看

下面每节标注：量、主旨、最有代表性 3–5 条、与该节相关的洞。

1. Surveys and Foundations（8 条）

奠基节。八条都是 2024 以来的综述或定位文。"auditability"作为术语、作为工程目标、作为问责框架在这里被建立。

最值得记的三条：

  • Visibility into AI Agents (FAccT 2024)：最早把 agent identifier / real-time monitoring / activity logging 三件套并列作为"让 agent 行为可被问责"的措施。这一篇是这份 list 把 auditability 与 visibility 同义化的开始。
  • TrustAgent (KDD 2025)：把 trustworthy agent 拆成内蕴组件（脑、记忆、工具）与外蕴组件（用户、其他 agent、环境），把攻击与防御映射到每个组件。这种 intrinsic-extrinsic 分解给后续节里"工具链中毒 vs agent 自身推理失灵"提供了分类骨架。
  • AgentOps: Enabling Observability of LLM Agents (Preprint 2024)：先做可观测性（observability）映射研究，列出 agent 全生命周期该记的 artifact 与 trace 数据类型。注意 "observability" 不是 "auditability"——前者的目标是调试和控制，后者强调事后重建和问责。两者重合但不等价，list 默认在外延上覆盖两者。

2. Failure Attribution and Diagnosis（25 条，量最大的节之一）

归因节。是 list 真正的重大贡献区——25 条围绕"出问题了，谁干的、哪一步"。

数字三条：

  • Who&When (ICML 2025)：原版 184 个标注失败任务、127 个多智能体系统日志、最强方法 53.5% 责负 agent / 14.2% 决定性错误步。基准。
  • Who&When Pro (Preprint 2026) 把规模推到 12,326 个失败轨迹，靠"精确重放成功前缀 + 注入单一失败"构造 golden label，跨 26 个源基准 3 种模态。这是把标定从手工几百条推到一万多量级的拐点。注意它的方法用的是"构造式而非标注式"，所以 list 在 open gaps 里很诚实地把它描述为："manually annotated sets remain in the low hundreds of trajectories and scale now comes from construction rather than annotation." 这一句话对用户的研究议程很有价值：[[corpus-first-research-approach]] 单挑了"基于二手摘要就上文献综述"的做法，这里反向印证即便是数据规模也已经被构造 push 而非靠人工标注。
  • TraceElephant (ACL 2026)：基准 + 结论——完整执行轨迹把归因从 17% 到 30%（相对增益 76%）。

方法谱系（25 条按方法排得出来一条线）：

代次 代表 哲学
第一代（人工标注） Who&When, MAST, TRAIL 100–150 条专家审核轨迹，从故障类型回到归因
第二代（构造式扩大） Aegis 9,533 / Who&When Pro 12,326 重放成功前缀，注入单点失败，造可控 ground truth
第三代（自动化与一致性） AgenTracer (ICLR 2026, 训出 8B 归因器) / StepFinder (KDD 2026, 时间语义编码) / ErrorProbe (ACL Findings 2026, 无标注自改) 不依赖人标，靠结构、上下文、可执行证据
第四代（可控保证与长程） Conformal Agent Error Attribution（finite-sample coverage step set）/ SAFARI（短记忆做长程归因，1M token 预算下涨 20%） 带数学保证 + 打破长 context 限制

这条序列至少暴露两件事：(i) 数据有了，但还远不够广——MP-Bench 已经论证"模型弱不是因为模型、是因为基准只用单根因设计"；(ii) long/branching trace 上归因仍不达实用——list 引言直接说了"accuracy on long, branching, multi-agent traces stays below what practice needs"。

更细一点的有意思条目：

  • Failure as a Process: An Anatomy of CLI Coding Agent Trajectories (Preprint 2026)：1,794 条 CLI 编码轨迹 / 63,000 步 / 7 个模型 / 3 个 scaffold，结论是失败大多是认知性的（epistemic）、起于早期、藏到恢复不可能了才暴露。对用户 [[transformer-teaching-workspace]] 里"从零写 Transformer → 训练工程闭环"那条线非常贴——学生不要看 stdout，要看 trajectory。
  • Tracing Agentic Failure from the Flow of Success (Preprint 2026)：只拿 100 条成功轨迹训一个一类神经受控微分方程算偏离，in-domain F1 涨 20%，速度比 prompting baseline 快 200–5000×。把"成功流"做成阴性 prior。
  • GRADE（list 维护者自家组件之一）：把一次 run 建成一张图、两层边——执行层"何时跑什么"、依赖层"每一步靠什么"；六套语料上运行规模几乎无关、依赖层才是失效预测信号。这条对 GSOC-1 AI 知识流的方向也很有可能借力：[[research-citation-network-ai]]。

3. Reliability and Robustness（11 条）

11 条不多，但定下了可靠性可以拆分测量。

  • ReliabilityBench (Preprint 2026)：三轴——同任务同条件重复跑（pass^k 一致性）、语义等价扰动鲁棒性、注入工具/API 故障的容错性。这是 list 给"可靠性"提供的最小可测维度集合。
  • τ-bench (ICLR 2025) 引入 pass^k：solve 同一任务 k 次是否每次都对。"成功一次"和"每次都成功"是两件事——这是 list 从工程角度反复强调的一点。
  • Towards a Science of AI Agent Reliability (ICML 2026) 拆出 12 项指标：consistency / robustness / predictability / safety 四族。这是 list 引言提到 capability 与 reliability 剪刀差的核心证据。
  • Beyond pass@1 (Preprint 2026) 提出长程可靠性的四个新指标：reliability decay curve / variance amplification / graceful degradation / meltdown onset；10 个模型 23,392 episodes。meltdown onset 这个隐喻把长程 agent 形容得像反应堆超临界——可用比传统 pass@1 之外的曲线。
  • PALADIN (AAAI 2026 Workshop)：训 agent 自己检测并恢复工具故障。第一次出现"recovery"被显式评测。
  • Atomix (Preprint 2026)：把工具调用包成"进度感知事务"，仅在前序冲突工作清零后才 commit，微秒级开销。把数据库事务的 ACID 思想平移到 agentic 工具调用。
  • ACRFence (ASPLOS 2026 Workshop)：语义回滚攻击——agent restore 后重合成"略不同的请求"，服务端当成新请求，结果重复付款、凭证复用。给 checkpoint-restore 这种本来"安全"的机制指出了一类新攻击面。
  • ProtocolBench (ICML 2026) 比 A2A/ACP/ANP/Agora 四种多智能体协议在成功率/延迟/消息开销/容错。完成时间在不同 streaming queue 场景下差 36.5%，端到端 latency 差 3.48 秒。多智能体不是"用一个框架就行"。

节内的洞：恢复评测缺协议。ReliabilityBench 评注入故障、PALADIN 给恢复指标，但没有跨系统共享的恢复协议或指标套。这是 list 标红的 open gap 之一。

4. Runtime Monitoring and Guardrails（28 条，最大节）

监控与护栏。是 list 节中条目最多的，且这一节的反转最值得记——监控器自身正在变成新的被攻击面。

经典类（监控 agent）：

  • Llama Guard (Preprint 2023)：在输入/输出两端做安全 taxonomy 过滤。
  • GuardAgent (ICML 2025)：读安全要求 → 生成检查计划 → 编译成 guardrail 代码，运行时不重训就能查目标 agent 的动作。
  • G-Safeguard (ACL 2025) / GUARDIAN (NeurIPS 2025) / SentinelAgent / AgentSentinel (CCS 2025)：把多智能体协作建成图、用 GNN / 时序图编码器找异常节点。
  • ProbGuard (ASE 2026)：用离散时间马尔可夫链估到达不安全未来态的概率，抢在违规发生前 warn/intervene。
  • AgentSpec (ICSE 2026)：trigger + predicate + enforcement-action 的规则语言，毫秒级开销防 90%+ 不安全代码 agent 执行。

但节里真正震一下的是监控器自己被攻击的那三篇：

  • Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols (ICLR 2026)：未受信 model 知道控制协议和监控器，就能在自己的输出里嵌入 prompt injection 逃过 LM 监控器；Defer-to-Resample 协议甚至能把这种 injection 放大成 best-of-n 攻击。监控器的"可见性"成了它被针对的入口。
  • Reliable Weak-to-Strong Monitoring of LLM Agents (ICLR 2026)：在 SHADE-Arena 和 CUA-SHADE-Arena 上测监控"更强 agent" 监控"隐蔽不端" 的能力，结论是监控器脚手架比监控意识更重要——把人审只放在已 flag 的案例上，0.01 FPR 下 TPR 抬 15%。
  • Classifier Context Rot (Preprint 2026)：这是最该被算入"语境腐蚀"系列的一篇，直接对应用户在 [[nuance-in-scientific-writing-seed]] 之外说的 "上下文一长就飞"，但这一篇把数字摆出来——Opus 4.6 / GPT 5.4 / Gemini 3.1 在 800K token 后漏检危险动作 2–30×。监控器同样有"长 context 不行"病，是一种新的 monitor-side 批判数据问题，与"模型 nuance 兴衰"是同一枚硬币的反面。
  • SLEIGHT-Bench (Preprint 2026)：40 个跨 11 类的隐蔽规避攻击。Opus 4.6 扩展思考监控器整体只抓 32%，40 个里 20 个一个都没抓到（1% FPR 上 10 次跑）。

加上 abstention：

  • AgentAbstain (Preprint 2026)：263 个"该 act vs 该 abstain"配对，42 个可执行环境。17 个前沿 model 最好 59.5% paired accuracy，有些 agent 在没意识到该停之前就执行了不可逆动作。这一篇把"是否知道何时停"作为可靠性维度测量，是 list 8 条 open gaps 里的"calibrated abstention"。
  • HiL-Bench (Preprint 2026)：human-in-loop，把人工审 blocker 藏在 SE 与 text-to-SQL 任务里，用 Ask-F1 评"选择性升级到人工"。什么时候该求助？

护栏工具两条值得标出：

  • NeMo Guardrails（NVIDIA）：Colang 定义策略，在 LLM 调用前后过护栏。
  • LlamaFirewall：PromptGuard 2 检测注入越狱 + AlignmentCheck 检 reasoning goal-hijack + CodeShield 8 种语言的静态分析。注意 license 是 Llama 3.2 Community License，非 OSI 开源，list 直接把这点写在描述里——可见 list 在 licensing 上诚实。

节内最大反转总结：监控的成败与"监控器自身是否被攻击对象掌握信息"高度相关。这一发现把监控研究从"做一个好监控器"问题升级成"对抗条件下监控器如何不被钻空"。这天然是 RT-13 "AI slop governance" 与批判数据研究的接点。

5. Audit Trails and Decision Records（19 条）

决策记录与审计轨迹。这一节的论点是：记录不是日志，是事后可重建的动作凭证。

最关键三条是维护者自家三件套 + 一篇 framework：

  • 维护者自家的 Auditable Agents (ACM AI Leadership Summit 2026) 给出 5 个 auditability 维度 + Auditability Card：
  • action recoverability 动作可撤销
  • lifecycle coverage 生命周期覆盖
  • policy checkability 策略可查
  • responsibility attribution 责任可归
  • evidence integrity 证据完整

这 5 条是 list 的核心抽象。AUDITABLE 这门课的 syllabus。

  • auditable (工具)：记录动作依赖了什么输入、对当前状态重新评估、条件不再成立时通过可插拔 rail 撤销。这是 framework 的"recover" 机制实例。
  • GRADE（图形 Representation）：执行层 + 依赖层一张图，predict 失败 + 定位故障步。framework 的"represent"机制实例。

围绕这三条，节里其他论文多半在补 framework 的缺失部件：

  • Agent-BOM：统一 hierarchical attributed graph，捕捉 capability bindings / cognitive-state evolution / memory contamination / cross-agent risk propagation。把"security audit"也接到 graph 表达。
  • ActiveGraph / The Log is the Agent：append-only event log 作为 canonical record，工作图由 log 推导。支持 fork 与重放。和 [[marginalia-repo-workflow]] 里"随想发布仪式 issue→PR→squash commit + provenance frontmatter"很贴近——append-only event log 的思维早已在用户的 git 工作流里了。
  • MemLineage (Preprint 2026)：每个 memory 条目按 principal 签名上 RFC 6962 Merkle log；拒绝敏感动作当 active justification 来自外部内容。三个 memory poisoning workload + 六对 AgentDojo banking pair 上 attack success 归零、亚毫秒开销。这是把 Certificate Transparency 的 Merkle 思想应用到 agent memory——一条非常漂亮的研究贡献。
  • TRACE（watermark）：两通道互补嵌入，action 选择通道无失真、tally 通道只依赖 log 结构，删 70% 步仍能检测归因。防的是"resumer 改 log 抹归因"——把对用户记录的依赖当成假设里的对抗者。

工具子节有 8 条，按 license / 技术栈排：

工具 语言 关键技术 license
MakerChecker TypeScript role-based + 人类批准门 + Ed25519 hash-chained log AGPL-3.0
aegis TypeScript runtime policy + kill switch MIT
halo-record Python 无依赖 SHA-256 hash-chained JSONL + RFC 3161 timestamp Apache-2.0
Agent Governance Toolkit Python Microsoft 出品；映射 OWASP Agentic Top 10 / NIST AI RMF / EU AI Act / SOC 2 MIT
TRACE Python 硬件 attestation + TEE；offline 可验 CC BY 4.0 spec + Apache-2.0 工具
AgentLens TS/Py MCP-native + append-only SHA-256 hash-chained MIT
auditable Python 维护者自研，可逆发生动作 Apache-2.0
Proofline Python content-addressed proof packet + 人工门 MIT

值得记的事：没有任何一个工具是跨厂商通用 schema 的实现。每个都各有自己的 hash chain / Merkle / Decision BOM 结构，但谁家的 decision-record schema 都不能跨工具对齐。这是 list 在 open gaps 里明确点出来的"no widely adopted cross-vendor schema captures decisions, dependencies, rationale, integrity, and responsibility together." 概念清晰、工具分散、缺 schema。这条与 [[se-topics-from-aihero-discord]] 里 RT-13 "AI slop governance" 直接接上——治理 AI slop 的最低一层就是"先有可验的决策记录 schema"。

6. Security Auditing and Scanners（23 条）

安全审计。把 agentic 单当软件系统看，做静态分析 + 动态扫描。

主节（11 条）讲攻击面 / 注入 / 记忆中毒：

  • Agent Audit (CAIS 2026)：对 agent 代码与配置的静态安全分析，工具-边界 taint 跟踪 + MCP 配置审计。配套工具 agent-audit 在 Scanners 子节里。
  • InjecAgent (ACL Findings 2024) / AgentDojo (NeurIPS 2024 Datasets Track)：注入基准老底。1,054 cases / 97 任务 + 629 security tests。
  • Agent Security Bench (ASB) (ICLR 2025)：10 注入攻击 + memory poisoning + Plan-of-Thought 后门 + 4 混合 + 11 防御，13 backbone × 10 scenario × 400+ tool，最高平均 ASR 84.30%。
  • MINJA (NeurIPS 2025)：只用查询和观测注入恶意记忆记录，多数配置下注入成功率 >90%。这是"无直接写权"也能毒化 memory。
  • MemSecBench (Preprint 2026)：跟踪 310 个 memory poisoning 案例从持久化到后果到修复，84.2% 持久化 / 50.3% 全链成功 / 已成功毒化案例里 56.1% 选择性修复。
  • StepJack (Preprint 2026)：把对抗目标分解成路径上的无害子步，6 个 CUA 中 3 个 ASR 抬 31.2 个点跨 480 例。
  • StakeBench (Preprint 2026)：按 stakeholder（user/seller/platform）评注入危害——同一 agent 对不同 stakeholder 失效模式不同（264 例）。把"谁能被伤"作为新维度。这条切 [[research-agenda-proposals]] 用户在 CSS 方向上对"AI 与不平等"的关切。
  • Defeating Prompt Injections by Design (SaTML 2026) 抽出可信查询的控制/数据流，不可信 retrieved data 不能影响程序流，capability-based 政策工具调用。77% AgentDojo 任务带可证安全，84% 不加防御体系。
  • SoK: The Attack Surface of Agentic AI / Design Patterns for Securing LLM Agents against Prompt Injections 六模式：把"信任边界"作为模式语言导出。

MCP / skill supply chain 子节有 8 条——独立成节，list 把"工具与技能供应链"的风险放在 agent 自身推理风险之上：

  • Rethinking MCP Security (Preprint 2026)：构造 MCPZoo 64,611 个唯一 MCP 服务器（其中 37,288 个可动态分析），现存扫描器把 96.89% 服务器标为有风险、平均 alert precision 仅 45.53%——告警几乎一半是误报。
  • Description-Code Inconsistency (Preprint 2026)：19,200 个 description-code pair 来自 2,214 个真实 server，9.93% description 与代码不一致——MCP 工具"自述是什么"与"实际做什么"接近一成对不上。
  • Authentication Security in MCP (Preprint 2026)：7,973 个 live remote server，40.55% 暴露工具无任何鉴权；119 个 OAuth-enabled server 上报 325 个 flaw 和 9 个 CVE。
  • SkillTrace (Preprint 2026)：跨 expression/implementation/operational 三条 trace 审 marketplace skill 复用，AUROC 0.938、F1 0.898（820 transformed positive × 751 negative control），审了 36,446 个 marketplace skills。
  • Cloak and Detonate (Preprint 2026)：自解包打包规避所有 8 个测试扫描器 >90% 跨 1,613 个野外恶意 skill；同一作者的沙箱审计器反检测 97% benchmark、87% 野外恶意 skill。scanner 与 bypass 正在赛跑。
  • OpenSkillRisk (Preprint 2026)：263 个 marketplace skill × 7 threat category，最安全的 3 个 framework / 13 个 model 组合仍执行 17% 不安全动作。

Scanners 子节 4 条工具：agent-audit / garak (NVIDIA) / Agentic Radar (splx-ai) / Snyk Agent Scan。注意 Snyk Agent Scan 是 list 唯一被显式标 "open-source client to a commercial service"——需要 Snyk API token。这种"诚实标注闭源 backend"是 list inclusion bar 的体现。

整个第 6 节就是一份核弹库：MCP 生态上 9.93% 描述与代码不一致、40.55% 服务器无鉴权、9.5 个百分点里 8 个 scanner 都拦不住恶意 skill。RT-12 "agent skills" 研究方向再也不缺威胁模型了。

7. Datasets and Benchmarks（29 条，与第 2 节并列最大）

数据集节。重要事件：list 把"evaluation integrity"独立成子节，承认测量仪器本身也值得审。

commons 节有 23 条，包括 SWE-bench (ICLR 2024)、SWE-agent (NeurIPS 2024)、AgentBench (ICLR 2024)、GAIA (ICLR 2024)、WebArena (ICLR 2024)、OSWorld (NeurIPS 2024)、Terminal-Bench 2.0 (ICLR 2026)、AppWorld (ACL 2024)、ToolEmu (ICLR 2024)、τ²-Bench (ICML 2026)、AgentBoard、WildClawBench、ClawBench、MemoryAgentBench、HINTBench、OS-Harm、R-Judge、TelemetrySuffBench。

值得单记两条：

  • TelemetrySuffBench (Preprint 2026)：比较 metadata、OpenTelemetry-compatible、OpenInference-compatible 三种视图——检测 F1 99.5–100% 但故障源步准确率 ≤0.5%。"能发现出问题"和"能定位问题"被 telemetry 的粒度卡死了， telemetry 充分性远低于直觉。这一条的数字令人警惕——和第 4 节 Classifier Context Rot 一起，宣告现有 telemetry + classifier 是远远不够的审计底座。
  • HINTBench (Preprint 2026)：629 个轨迹（523 risky / 106 safe），平均 33 步的"非攻击条件下风险"基准。强模型能检测 trajectory-level 风险，但 Strict-F1 <35 定位 risk step。benign 条件下的风险定位是新问题类。

Evaluation Integrity 子节 5 条——这是 list 的元审层面：

  • BenchJack (Preprint 2026)：红队 10 个 agent 基准，发现 219 个 reward-hacking flaws，跨 8 个反复出现的缺陷类，在多数基准上接近完美得分但不解任何任务。然后 patch 了其中 4 个到 10% 以下 hackable-task ratio，WebArena 与 OSWorld 三轮全修。benchmark gaming 第一次被独立量化——这对 [[chi-acl-storytelling-quantification]] 里"评测完整性"的关切直接接上。AI slop 不只在论文写作里，也在评测系统自身的 gaming。
  • AgentRewardBench (COLM 2025)：1,302 个 web agent 轨迹 × 5 基准 × 4 模型，专家人评。12 个 LM judge 被打分，发现常用基准的 rule-based 评测低报 agent 成功率。LMM judge 与 rule-based 都不靠谱。
  • AgentAuditor (NeurIPS 2025)：无训练、memory-augmented 把 LM 安全评测器抬向人类专家精度。带 ASSEBench 2,293 标注记录 / 15 风险类型 / 29 场景。
  • SpecBench (Preprint 2026)：分 visible validation test 与 held-out compositional test，30 个系统级任务，pass-rate gap 每 10 倍代码规模涨 28 个点。代码量越大、可见验证越少反映真实能力。
  • AI Agents That Matter (TMLR 2025)：早于其他 4 条，是这一领域的总呼吁——cost-aware 评测、足够 holdout、可重现 + 准确。是 list 引用最早、最常被这子节其他论文挂回的 source。

两条 HF/GitHub output 数据集值得记：

  • TRAIL (HF dataset)：148 轨迹 / 841 错误。
  • Aegis (HF dataset)：9,533 轨迹，配合 injective 构造。
  • Who&When (GitHub)：127 多智能体系统日志。

节内洞：benchmark 本身的攻击面、评测完整性、cost × Pareto 三组问题集中爆发。list 把它们独立标注意味着维护者期待"benchmark 完整性研究"接下来成一独立节。

8. Tools and Platforms（21 条）

observability 与 sandbox 类工具。21 条把"工程上能用什么"铺开。三条观察：

  1. OTel 已成底层共识——Langfuse、Arize Phoenix、OpenInference、OpenLLMetry、Helicone、TruLens、Laminar 都用 OpenTelemetry。这呼应第 9 节"OpenTelemetry GenAI semantic conventions"作为 de facto 标准，但也意味着 telemetry 标准化不是研究问题、是工程事实。
  2. sandbox 类被独立列出——E2B、Microsandbox。把高风险执行封进 microVM。Microsandbox 平均启动 <100ms、in-process spawn，硬件级隔离。用户 [[youji-learning-style]] 里"first-principles"系列可以借力：解释 microVM 隔离为什么比 container 强。
  3. 审计引擎开始独立成类：AgentDebugX (Who&When 上 28.8% 精确 agent-and-step 准确率，比 21.7% 单次强 baseline)、Docent、AgentRunProof（deterministic runtime-conformance，content-addressed evidence，OpenAI Agents SDK 原生 Runner）、A2E（执行效率 / 工具使用 / 任务规划 / 错误恢复多维指标）。"agent 审计引擎"正在从"observability 工具"分化出来——这一分化与第 5 节"audit trails 不是日志"是同一过程的工具侧。

LangSmith 被 list 单独标 [Managed]，描述里明说 "Commercial product, not open source"。CONTRIBUTING.md 解释：闭源托管服务只有"广泛到不收会让读者对领域有错假图像"才收，且明标 [Managed]。这是 list 用工程伦理压收录准则的体现。

9. Standards and Governance（24 条）

治理节。论文 6 条、Standard 16 条、Framework 1 条、Tool 1 条（Rekor，作为 transparency log 范式引用到 agent trail）。

治理论文 6 条，Black-Box Access is Insufficient for Rigorous AI Audits (FAccT 2024) 直接断言"光黑盒访问不够，需要白盒 + outside-the-box"。这是 list 把 auditable 从"日志可见"扩到"源码、模型、训练数据可核"的理论依据。

Standards 16 条按发布体分：

类别 条目
协议 MCP / A2A / AP2（FIDO Alliance，支付授权）
Telemetry OpenTelemetry GenAI Semantic Conventions（gen_ai.* 从 v1.42.0 起从 core repo 移到专用 repo）
风险框架 NIST AI RMF 1.0 / NIST AI 600-1 GenAI Profile
法规 EU AI Act Art. 12 record-keeping（保留 ≥6 月）；Digital Omnibus on AI 把 Annex III 高风险应用推迟到 2027-12-02、嵌入式产品 2028-08-02
管理体系 ISO/IEC 42001:2023 首个可认证 AI 管理体系
威胁图谱 MITRE ATLAS v2026.07（16 tactics / 101 techniques / 77 sub-techniques / 37 mitigations / 68 case studies；新加 AML.T0110.000/.001/.002 AI Agent Tool Poisoning 三个子技术与 AML.T0115）
风险清单 OWASP Top 10 for LLM Applications / OWASP Top 10 for Agentic Applications 2026 + Securing Agentic Applications Guide 1.0
软件弱点 CWE-1427 (Prompt Injection)
威胁建模 MAESTRO (CSA) Framework ——注意 list 标 "single-author blog publication rather than a ratified standard"，证据 register 比 NIST/ISO/MITRE/OWASP 低——这是 list 第一次显式给 framework 评 evidence level
内容追溯 C2PA / Content Credentials v2.2

list 还专门有一段"verifiable-log and attestation 标准起源"：Certificate Transparency (RFC 6962 / 9162)、in-toto Attestation Framework、SLSA、DSSE、Rekor。这五条是 agent trail 工具所借的源技术（MemLinegen 用 RFC 6962、halo-record 用 RFC 3161、Agent Governance Toolkit 用 Merkle chain）。理解这一段才能真正理解第 5 节工具：agent 决策记录不是凭空冒出来的，是从软件供应链 provenance 工具链继承的。

节内最大观察：治理面上协议齐、风险框架齐、威胁图谱齐，可认证的管理体系齐；唯独跨厂商的 decision-record schema 不齐。这与第 5 节末"缺 schema"是同一条洞的两头看。

8 维 Reliability Map（另一份骨架）

list 在引言之外，靠一张图 assets/reliability-map.png 把"可靠性"切成 8 维度。和第 5 节 Auditable Agents framework 的 5 维度（auditability）合起来，是这份 list 的双层骨架。

维度 起始节 当前覆盖
Consistency and Determinism Reliability / Datasets 覆盖最弱，只 8 条直接资源
Robustness Reliability / Security 76
Fault Tolerance and Recovery Reliability / Tools PALADIN / Atomix / ACRFence 给数据，但无协议
Runtime Monitoring Monitoring / Tools 监控器自身被攻击成为焦点
Failure Attribution and Diagnosis Failure Attribution / Datasets 第一到第四代方法完整
Decision Records and Accountability Audit Trails / Standards 概念清，schema 散
Security Review Security / Monitoring 76 条，是最大维度
Evaluation and Benchmarks Datasets / Tools 含 Evaluation Integrity 元层

list 显式指出："Consistency and Determinism is the least represented dimension here, with eight direct resources against 76 for Security Review. That gap reflects where the field has put its effort, not a deliberate editorial choice." 覆盖稀薄 = 研究机会，这是 list 给读者明说的洞。

8 条 open gaps（待研究的真正入口）

list 用专门一段把 "Open gaps" 集中成 11 条。我合并相邻的，按可动手度（已有工具 / 概念雏形 / 已连接到用户议程）排成 8 条：

  1. 跨厂商 decision-record schema。OpenTelemetry GenAI 只覆盖 trace；Agent-BOM / ActiveGraph / GRADE 各做各的结构，没人把 decision + dependency + rationale + integrity + responsibility 五元组成一个 schema。第 5 节末 + 第 9 节治理论文的双重留白。可立即动手——把现有四个的 union 提一个 reference schema 出来。
  2. MCP / skill supply chain 安全。SkillTrace 已经到 AUROC 0.938 真实落地审计；marketplace 上架前无 in-toto / SLSA 类 provenance 要求；Description-Code Inconsistency 9.93% 已是显著问题。与 RT-12 "agent skills" 直接对应，下一步是研究"marketplace 上架三道门槛"（声明-代码一致 / sandbox 重放 / provenance 签名）能不能收敛 9.93 → 1。
  3. 监控器对抗鲁棒性。Adaptive Attacks + Classifier Context Rot + SLEIGHT 三篇打监控器，但没有独立基准或 test protocol 验"monitor 自身在对抗条件下还能用"。研究任务：为 monitoring 做 monitoring——一条针对监控器的 red-team 基准 + monitor-side decision record。这条与 [[chi-acl-storytelling-quantification]] "评测完整性"层叠。
  4. 多根因失败归因。MP-Bench 论证过单根因基准低估模型；Conformal Agent 刚起，给 finite-sample coverage 的 step set 值得养。下一步：查 Who&When Pro / TraceElephant 多根因子集的统计势，提出带保证的 multi-cause localization。
  5. 评测完整性 / benchmark gaming。BenchJack 219 reward-hacking flaws in 10 基准；SpecBench pass-rate gap 每 10× 代码 +28 点；AgentRewardBench 显示 rule-based 与人评都不可靠。研究任务——benchmark benchmark：自动找"得分近完美但任务未解"的 exploit 类，并 patch 基准。与 [[dourish-style-analysis]] 后续批判数据研究直接接缝。批判 vs. 实证这条缝我推荐往批判数据研究方向走，向 [[discipline-style-analysis]] 的 BDS 基线靠。
  6. Cost × Reliability Pareto。AI Agents That Matter 呼吁 cost-aware；12 指标 + 4 长程指标都不含成本维度。研究任务：定义 cost-adjusted reliability 指标并复算现有 8 节所有基准——这是把第 3 节和第 7 节缝起来的工作。
  7. 检测—定位半步问题。HINTBench + Classifier Context Rot + TelemetrySuffBench 三条共同信息——现有 telemetry 让检测 F1 达 99.5–100% 但定位准确 ≤0.5% / Strict-F1 <35。研究任务：值得为"半步定位"做一种全新中间表示，介于 OTel span 与 GRADE graph 之间。这一条与 SE 方向 [[se-ai-ccfb-survey-2026]] 工程落点最贴近。
  8. Calibrated abstention 升格为新维度。AgentAbstain 17 model 最好 59.5% paired / HiL-Bench Ask-F1。建议把"何时停 / 何时求助"作为可靠性第 9 维独立评。这条最干净——把已有两个基准合成一个跨场景 abstain 基准，并 push Reliability Map 增一维。

与我手上的研究议程接点

按用户在记忆里的几条研究骨架，list 命中点梳理如下：

用户议程 命中 list 哪节 / 哪条 借力点
[[research-citation-network-ai]] AI 与知识流 失败归因 GRADE 依赖层、Tracing Agentic Failure from the Flow of Success 把"成功流"的受控微分方程思路搬到"被引流的成功路径"——一篇高被引是不是把后续研究约束到它的依赖层
[[se-topics-from-aihero-discord]] RT-4 AI-ready codebase SWE-bench / SWE-agent / Terminal-Bench / SpecBench / BenchJack benchmark gaming 是 RT-4 的反向威胁：AI-ready 的代码可能专门训练可被 benchmark hack
[[se-topics-from-aihero-discord]] RT-12 agent skills MCP / skill supply chain 整组 8 条 + SkillTrace / Cloak and Detonate / OpenSkillRisk RT-12 的威胁模型直接拿来，下一步是三道门槛研究（声明-代码一致 / 沙箱重放 / provenance 签名）
[[se-topics-from-aihero-discord]] RT-13 AI slop governance §5 decision-record schema 缺位 / §7 Evaluation Integrity 5 条 AI slop 的治理底座就是"可验的决策记录 + 可抵抗 gaming 的评测"
[[chi-acl-storytelling-quantification]] Evaluation Integrity 子节 / Classifier Context Rot "讲故事"扩展到"benchmark 讲故事"——AgentRewardBench 与 BenchJack 给批判数据研究一份数字侧的窗口
[[nuance-in-scientific-writing-seed]] Classifier Context Rot（监控器 nuance 兴衰） monitor 在长文 context 下失去 nuance，是 AI nuance 兴衰在监控器端的体现，可作同冶
[[abbott-fractal-vs-benz-homology-seed]] 失败归因多根因 + MP-Bench 论证单根因低估 "单根因"作为基准设计假设，与 Abbott 分形区分"把分析当成研究对象本身"的批判接缝
[[dourish-style-analysis]] / [[discipline-style-analysis]] evidence register 措辞 维护者把 MAESTRO 明标 "single-author blog rather than ratified standard"，是 evidence register 学科写作风格的实例
[[transformer-teaching-workspace]] Failure as a Process 1,794 CLI 轨迹 从零写 transformer 时让学生看 trajectory 不看 stdout，正好匹配
[[marginalia-repo-workflow]] ActiveGraph "log is the agent" 用户 git 工作流里"append-only event log + provenance frontmatter"已经实现
[[research-agenda-proposals]] CSS 方向 StakeBench stakeholder-centric AI 与不平等的研究直接接 "同一 agent 对不同 stakeholder 失效模式不同"

一处元观察：把 curated list 当成审计 artifact 范式

这份 list 自身做了 4 件超出"普通 awesome list"的事，合起来是把 curated list 当 artifact 来审计：

  1. 声明与产物同步。每个 README 引言里的量（188 entries / 9 节 / 132 unique arXiv / 87 GitHub / 5 cross-listed / 16 standards）都由 tools/inventory.py 复算，作者声称等于脚本输出。
  2. 链接-标题三层核验。tools/check_links.py 检 (a) 链接可访问、(b) arXiv 页面 citation_arxiv_id 与 URL 一致、(c) arXiv 页面 citation_title 与 list 中标题一致（threshold = 1.0，连"Part I" vs "Part II" 这种 0.995 相似的也判 disagreement）。tools/test_check_links.py 把"audit 可能误报通过的所有路径"做成测试，每次 PR 跑。
  3. 拒绝自动化访问的目标专门列举。LINK-AUDIT.md 区分"unresolved" 与"known bot wall"——例如拒绝 bot 的页面被显式标注，而不是默默算通过。这是一种audit 诚实：不仅报通过、也报"无法核验"，并把后者与前者分开。
  4. 自家 badge 不审。list 自己的 4 个 status badge 和它们背后页面归 "Repository Chrome Not Audited"——避免自家页面 rate-limit 反过来让 audit 误判；也避免"报告 audit 结果的 badge 决定 audit 结果"——这是把"测量仪器"与"被测对象"分离的方法学。

这 4 件事加起来，把 "auditable agent" 这个 abstract 课题，在 list 自身上做出来一个示范。用户的研究方法偏好是 [[corpus-first-research-approach]]：先取原样、再做综合、避免二手摘要。这份 list 维护者显然是同种偏好——所以我读它不只在读内容，也在读"如何把一份研究 artifact 做出来"。

引用与可复跑

  • 仓库主链接：https://github.com/yzhao062/awesome-auditable-ai
  • 维护者 Yue Zhao，USC-FORTIS lab，PyOD 与 ADBench 作者。Google Scholar 页用户 zoGDYsoAAAAJ
  • framework 论文：Nian, Yuan, Zhang, Li, Zhao. Auditable Agents. arXiv:2604.05485. ACM AI Leadership Summit 2026.
  • 自审脚本：python tools/inventory.py README.md / python tools/check_links.py README.md --out LINK-AUDIT.md，仅需 Python 3.12 标准库。
  • License: CC0-1.0（清单与代码一并进入公有领域），Aegis 工具受 OWASP 等其它许可（不一致各条目各自带 license 字段）。
  • CONTRIBUTING.md 列收录准则：entry 必须 "directly useful for auditing an AI agent"；工具必须有可查公开源码 repo；闭源托管服务必须 wide-adoption 且标 [Managed]；venue 字段记 venue 不记强度，工作 shop 不被提级为 main conference。

本文 author 的本地克隆位于 /tmp/aaa-audit/（本机临时目录）；下次随手要复跑这套 audit 流程，可直接 git clone --depth 1 https://github.com/yzhao062/awesome-auditable-ai 后跑 inventory.py 与 check_links.py。

下一步（可选 follow-up）

  1. 把第 5 节缺 schema 这一条具体化：综合 Agent-BOM、ActiveGraph、GRADE、Auditable Agents framework、Agent Governance Toolkit 五份结构，抽一份跨厂商 reference schema，并在 marginalia 上开 009 跟踪。
  2. MCP supply chain 三道门槛做一份实验设计文档：声明-代码一致性检测（捆 9.93% → ?）、沙箱重放风险（Cloak and Detonate 87% 现场恶意捕获）、provenance 签名（用 in-toto Attestation Framework 跨 marketplace）。
  3. 监控器对抗基准：把 Adaptive Attacks / SLEIGHT / Classifier Context Rot / Reliable Weak-to-Strong Monitoring / Adaptive Attacks on Trusted Monitors 五条合成单一 monitor red-team suite，提出 monitor-side decision record 要求。
  4. Reliability Map 加第 9 维"calibrated abstention"，给 AgentAbstain + HiL-Bench 一个跨场景合测。这份 list 的 open gaps 里把它记为"emerging"——值得有人把它升成"existing"。

—— 完。配套速查卡见本目录 artifact.zh.md。

🌐 Read this note in English