GeneBench-Pro：评估计算生物学研究判断的 Agent 基准
OpenAI 发布的计算生物学研究级基准，用合成但现实的脏数据任务测试 AI Agent 的分析路径选择、修正与决策判断。
GeneBench-Pro llm-benchmark agent-evaluation model-evaluation research OpenAI 发布的计算生物学研究级基准，用合成但现实的脏数据任务测试 AI Agent 的分析路径选择、修正与决策判断。
1. 项目定位
GeneBench-Pro 的官方公开包由 OpenAI 验证账号发布，用一组计算生物学案例展示 Agent 如何处理表格数据、分析路径和判断任务。[S1][S2] 它不只是测术语记忆：每个案例包含任务、数据文件、参考答案和评分约定，更适合观察系统能否完成可复现的多阶段分析。
2. 要解决的问题
现实科研数据很少附带唯一操作说明。研究者要先判断数据能支持什么问题，再决定模型、估计量、质控和下一步实验。只测单步代码执行可能掩盖“方法选错但程序跑通”的失败。GeneBench-Pro 因此把目标估计量与下游决策绑定，让错误路径更可能在最终数值和解释中暴露。[S1]
3. 数据集结构
公开包收录 10 道代表题，覆盖统计遗传学、蛋白质组学、临床和癌症基因组学、群体遗传学、单细胞分析与功能基因组学等方向。[S1][S2] 每题有独立目录，包含 eval_config.json、给 Agent 可见的数据文件和公开报告；清单还提供文件路径、校验和与大小，便于确认运行材料没有被替换。
4. 评估机制
每个案例的配置给出任务文本、输入文件、答案结构、参考值和字段级评分容差；官方还提供参考评分器。[S1] 公开包刻意包含答案与评分规则，用于复现和模型分析，不是隐藏答案排行榜。使用时应把任务输入与评分端分开，并保留代码、工具调用、错误恢复和中间决策，才能解释通过或失败的原因。
5. 公开材料
公开包提供 README、问题汇总表、清单、SHA-256 校验和、评分定义、参考评分器和逐题报告，并采用 MIT 许可证。[S1][S2] 这些材料足以复现实例和检查评分流程，但仅代表 10 个公开案例，不能据此声称覆盖所有实验室流程、疾病领域或监管要求。采用方仍需让自己的生物统计与数据治理人员复核相关性。
6. 使用路径
团队可先选与内部研究最接近的子集，对候选 Agent 固定模型版本、工具权限、运行预算和环境，然后重复运行。结果报告应同时给出总体分、领域分、失败类型与不可完成率。若系统会写代码或读取文件，还要在隔离环境中限制网络、凭据和输出路径，防止评测任务成为数据外泄通道。
7. 适用场景
GeneBench-Pro 适合比较科研 Agent 的分析判断、测试新工具链是否改善复杂任务，以及定位模型在诊断、方法选择或结果解释上的薄弱环节。它不直接证明系统可以独立做临床决策、设计湿实验或处理真实患者数据，也不能替代机构自己的方法学验证、伦理审查和质量体系。
8. 风险与边界
基准成绩可能受提示词、工具、计算预算、随机性和数据泄漏影响。公开题目还存在训练污染风险。发布结果时应披露模型与工具版本、运行次数、预算和失败处理规则，并把对题目或评分器的调参单独标记。任何涉及遗传或临床含义的输出都只能作为研究评估结果，不能被包装成医疗结论。
9. 验收建议
先建立可复现基线，再选取若干高风险题人工复盘完整轨迹。验收不仅看平均分，还看错误能否被诊断、相同设置下波动多大、是否出现虚构数据列或不当统计方法。若要进入内部科研辅助试点，应再用未公开的本地任务做盲测，并要求领域专家确认分析路径和不确定性表达。
10. 来源与更新时间
本简调截至 2026-08-12，依据 OpenAI 官方验证账号发布的数据集 README 与数据集记录。文中只概括公开案例和采用方法，不把公开评测结果外推为临床或科研自主能力。