Inspect AI

1. 调研缘由

模型能力与安全评测需要可组合的任务、样本、求解和评分流程。Inspect 官方将一次评测定义为把这些元素组织起来的 Task。[S1]

2. 简介与产品工作流

Inspect 的 Task 文档说明任务可定义数据集、求解步骤和评分方式，模型通常在运行评测时指定。[S2] 运行文档列出 CLI 与 Python eval() 入口，并说明可观察运行中的任务、样本状态、错误和 transcript 事件。[S3]

3. 团队与资本背景

官方站点引用其公开 GitHub 仓库。[S1] 本篇不把公共研究基础设施推断为商业产品，也不写缺乏直接来源的市场数据。

4. 技术基础与生态位

Inspect 位于评测与安全层：它提供评测任务和执行机制，而不是给模型提供运行时安全防护。[S1][S2] 标准工具文档还说明可把文件读取等工具接入任务；这类能力的安全边界取决于任务和环境配置。[S4]

5. 市场与外部信号

官方资料覆盖任务构建、运行、日志和标准工具，显示其面向可复现的评测工作流。[S1][S3][S4] 评测框架本身不能保证基准、评分器或任务设计已覆盖某一真实风险。

6. 公开评价与主要分歧

**正面评价（来源类型）：**官方文档提供任务、运行和工具的组合式接口。[S1][S2][S3]

**主要批评/质疑（来源类型）：**评测分数高度依赖样本、提示、模型版本和评分方式，不能脱离配置比较。

**存在分歧之处：**通用框架可提高运行一致性，但“测什么、如何判分”仍是使用者的研究判断。

7. 同类对比（与头部/高知名度同类项目）

**主要对标项目：**HELM、DeepEval、Ragas。

维度	Inspect AI	DeepEval	Ragas
公开工作单元	Task 组织评测要素。[S1]	已发布站内简调。	已发布站内简调。
执行观察	运行文档列出任务与事件观察。[S3]	以当前官方资料为准。	以当前官方资料为准。

8. 信息缺口与后续观察

1. 应对每个任务保留数据、模型、评分器和环境版本。
2. 需验证 Agent 工具场景中的隔离、超时和资源边界。

9. 归纳洞察 ★

Inspect AI 把评测看作可编排的工程任务，而不是一次性得分。它有助于复跑和观察过程，但不能替团队决定哪些失败模式最重要。

10. 来源与更新时间

• 信息截至(as_of): 2026-08-01
• 最后复查(last_checked): 2026-08-01
• 最后更新(last_updated): null