SWE-Lancer：以真实自由职业软件任务评测前沿模型
SWE-Lancer 用真实自由职业软件工程任务和经济价值衡量模型表现，适合研究编码能力，但不能替代企业代码库中的安全与维护验收。
SWE-Lancer model-evaluation llm-benchmark coding-agent open-source SWE-Lancer 用真实自由职业软件工程任务和经济价值衡量模型表现，适合研究编码能力，但不能替代企业代码库中的安全与维护验收。
1. 项目定位
SWE-Lancer 是 OpenAI 研究者提出的软件工程评测，题目来自真实自由职业平台任务，并以任务价值帮助解释模型能完成何种工作。[S1] 它关注实际交付而非只答代码题，但仍是受控基准，不能证明模型在任意企业代码库都能独立工作。
2. 任务构成
评测包含独立编码任务以及对实现方案进行选择或判断的管理型任务。原始论文提供评测设计，[S1] 相关代码现归入 OpenAI preparedness 仓库。[S2] 不同任务对环境、依赖和验收条件要求不同，使用者必须锁定版本并保留失败输出。
3. 适用目的
适合模型团队比较编码代理、研究自动化软件工作的边界，并分析哪类任务仍需要人类。企业采购可把结果作为外部信号，但应另外构建内部测试集，覆盖私有框架、代码规范、权限、部署和维护责任。
4. 运行准备
从官方仓库获取代码与数据说明，建立隔离执行环境，固定模型、提示、工具权限、依赖和超时。[S2] 先用少量样本验证评分器和容器，再运行完整评测。网络访问、测试可见性和人工提示都会影响公平性，必须在报告中披露。
5. 分数解释
总体金额或任务通过率便于比较，但可能掩盖任务类型差异。报告应拆分实现、判断、难度和失败原因，并给出无法运行的样本数。模型完成一个高价值任务不等于能稳定承担同类岗位，也不代表生成代码易于维护。
6. 成本核算
记录模型输入输出、代理步骤、工具调用、重试、执行资源和人工复核。以“每个通过任务的总成本”比较模型，而不是只看 token 单价。若代理长时间探索后偶然通过，真实交付效率可能不如更保守、步骤较少的方案。
7. 污染与复现
公开评测面临训练数据污染、针对性调参和环境变化风险。应保存仓库提交、数据版本和运行镜像，并定期用未公开内部任务交叉验证。模型若能访问互联网或历史答案，必须单独标注，不能与闭卷设置直接排名。
8. 安全边界
编码代理可能运行不可信命令、下载依赖或修改超出任务范围的文件。评测环境应无生产凭证、限制网络和资源，并记录所有动作。即使测试通过，也要检查供应链、许可证、秘密泄露和绕过测试的投机行为。
9. 验收清单
可信复现需满足：版本与模型可追踪；环境可重建；评分器经人工抽检；任务类型分组报告；失败样本分类；成本完整；权限受限；结论不超出覆盖范围。用于选型时，还必须在内部仓库完成代码评审、测试、安全扫描和回滚演练。
10. 来源与更新时间
本文研究日期与信息截点均为 2026-08-03。项目定位依据原始研究论文，运行资料依据 OpenAI 当前 preparedness 仓库；任务版本和代码位置会变化，引用结果时必须附日期、提交与设置。