排名 · DecryptHub

评测设置

推理档位

模型厂商

仅影响公开评测。关闭时按论文口径，从分母中排除这些运行。

仅影响图表。开启后使用线性坐标；关闭时展开成本低、通过率低的密集区域。

公开评测：统一使用 mini-SWE-agent，在最高推理档位运行，启用厂商提供的安全防护；每个实例尝试一次，最多 500 步、6 小时。默认通过率只计算可评分的实例。内部评测：厂商在自己的工具框架（Codex、Claude Code）中运行，关闭安全防护，不设预算上限，每个实例尝试四次。这些配置不对公众开放。

成本与表现

OpenAI

Anthropic

DeepSeek

xAI

Zhipu AI

Google

完整榜单

43 条评测结果

排名	模型	通过率
1	pass@4 · internalMaxOpenAICodex	99.2%
2	pass@4 · internalMaxAnthropicClaude Code	98.1%
3	pass@1 · internalMaxOpenAICodex	88.0%
4	pass@1 · publicOpenAImini-SWE-agent已评分 161 个实例	82.6%
5	pass@1 · publicOpenAImini-SWE-agent已评分 181 个实例	82.3%
6	pass@1 · internalMaxAnthropicClaude Code	82.1%
7	pass@4 · internalMaxOpenAICodex	72.5%
8	pass@4 · internalMaxOpenAICodex	68.7%
9	pass@4 · internalMaxAnthropicClaude Code	61.8%
10	pass@1 · internalMaxOpenAICodex	56.8%
11	pass@1 · publicGooglemini-SWE-agent已评分 208 个实例	55.8%
11	pass@1 · internalMaxOpenAICodex	55.8%
13	pass@1 · internalMaxAnthropicClaude Code	53.9%
14	pass@1 · publicAnthropicmini-SWE-agent已评分 237 个实例	37.1%
15	pass@1 · publicAnthropicmini-SWE-agent已评分 223 个实例	35.4%
16	pass@1 · publicOpenAImini-SWE-agent已评分 260 个实例	31.9%
17	pass@1 · publicOpenAImini-SWE-agent已评分 254 个实例	31.5%
18	pass@1 · publicOpenAImini-SWE-agent已评分 262 个实例	30.5%
19	pass@1 · publicAnthropicmini-SWE-agent已评分 223 个实例	26.9%
20	pass@1 · publicMetamini-SWE-agent已评分 209 个实例	14.8%
21	pass@1 · publicAnthropicmini-SWE-agent已评分 256 个实例	12.5%
22	pass@1 · publicGooglemini-SWE-agent已评分 233 个实例	12.4%
23	pass@1 · publicOpenAImini-SWE-agent已评分 232 个实例	10.8%
24	pass@1 · publicZhipu AImini-SWE-agent已评分 258 个实例	9.3%
25	pass@1 · publicAnthropicmini-SWE-agent已评分 262 个实例	5.7%
26	pass@1 · publicMetamini-SWE-agent已评分 214 个实例	4.7%
27	pass@1 · publicXiaomimini-SWE-agent已评分 258 个实例	4.3%
28	pass@1 · publicxAImini-SWE-agent已评分 240 个实例	4.2%
29	pass@1 · publicOpenAImini-SWE-agent已评分 262 个实例	3.8%
30	pass@1 · publicXiaomimini-SWE-agent已评分 259 个实例	3.1%
31	pass@1 · publicOpenAImini-SWE-agent已评分 231 个实例	3.0%
32	pass@1 · publicTencentmini-SWE-agent已评分 261 个实例	2.3%
33	pass@1 · publicDeepSeekmini-SWE-agent已评分 248 个实例	2.0%
34	pass@1 · publicOpenAImini-SWE-agent已评分 256 个实例	1.6%
35	pass@1 · publicxAImini-SWE-agent已评分 218 个实例	0.9%
36	pass@1 · publicDeepSeekmini-SWE-agent已评分 262 个实例	0.8%
36	pass@1 · publicZhipu AImini-SWE-agent已评分 244 个实例	0.8%
38	pass@1 · publicAnthropicmini-SWE-agent已评分 240 个实例	0.4%
38	pass@1 · publicStepFunmini-SWE-agent已评分 262 个实例	0.4%
40	pass@1 · publicGooglemini-SWE-agent已评分 241 个实例	0.0%
40	pass@1 · publicZhipu AImini-SWE-agent已评分 262 个实例	0.0%
40	pass@1 · publicThinking Machines Labmini-SWE-agent已评分 248 个实例	0.0%
40	pass@1 · publicMetamini-SWE-agent已评分 255 个实例	0.0%

1Most of its 81 failed runs are cyber-safeguard refusals.
2Does not refuse: requests flagged by its cyber safeguards are answered by Claude Opus 4.8 instead.

一次评测如何计分？

每个二进制实例包含六项可自动评分的任务。一次尝试必须完成全部六项才计为解决，不会把不同尝试的结果拼在一起。pass@1 是单次尝试的完整解决率；pass@4 是四次尝试中至少一次完整解决的比例。

公开与内部评测在工具框架、尝试次数、安全防护和预算上存在差异，请结合每行标签阅读。这里展示来源站原始成绩，DecryptHub 不重新评测或打分。

评测设置

推理档位

模型厂商

仅影响公开评测。关闭时按论文口径，从分母中排除这些运行。

仅影响图表。开启后使用线性坐标；关闭时展开成本低、通过率低的密集区域。

成本与表现

OpenAI

Anthropic

DeepSeek

xAI

Zhipu AI

Google

完整榜单

43 条评测结果

排名	模型	通过率
1	pass@4 · internalMaxOpenAICodex	99.2%
2	pass@4 · internalMaxAnthropicClaude Code	98.1%
3	pass@1 · internalMaxOpenAICodex	88.0%
4	pass@1 · publicOpenAImini-SWE-agent已评分 161 个实例	82.6%
5	pass@1 · publicOpenAImini-SWE-agent已评分 181 个实例	82.3%
6	pass@1 · internalMaxAnthropicClaude Code	82.1%
7	pass@4 · internalMaxOpenAICodex	72.5%
8	pass@4 · internalMaxOpenAICodex	68.7%
9	pass@4 · internalMaxAnthropicClaude Code	61.8%
10	pass@1 · internalMaxOpenAICodex	56.8%
11	pass@1 · publicGooglemini-SWE-agent已评分 208 个实例	55.8%
11	pass@1 · internalMaxOpenAICodex	55.8%
13	pass@1 · internalMaxAnthropicClaude Code	53.9%
14	pass@1 · publicAnthropicmini-SWE-agent已评分 237 个实例	37.1%
15	pass@1 · publicAnthropicmini-SWE-agent已评分 223 个实例	35.4%
16	pass@1 · publicOpenAImini-SWE-agent已评分 260 个实例	31.9%
17	pass@1 · publicOpenAImini-SWE-agent已评分 254 个实例	31.5%
18	pass@1 · publicOpenAImini-SWE-agent已评分 262 个实例	30.5%
19	pass@1 · publicAnthropicmini-SWE-agent已评分 223 个实例	26.9%
20	pass@1 · publicMetamini-SWE-agent已评分 209 个实例	14.8%
21	pass@1 · publicAnthropicmini-SWE-agent已评分 256 个实例	12.5%
22	pass@1 · publicGooglemini-SWE-agent已评分 233 个实例	12.4%
23	pass@1 · publicOpenAImini-SWE-agent已评分 232 个实例	10.8%
24	pass@1 · publicZhipu AImini-SWE-agent已评分 258 个实例	9.3%
25	pass@1 · publicAnthropicmini-SWE-agent已评分 262 个实例	5.7%
26	pass@1 · publicMetamini-SWE-agent已评分 214 个实例	4.7%
27	pass@1 · publicXiaomimini-SWE-agent已评分 258 个实例	4.3%
28	pass@1 · publicxAImini-SWE-agent已评分 240 个实例	4.2%
29	pass@1 · publicOpenAImini-SWE-agent已评分 262 个实例	3.8%
30	pass@1 · publicXiaomimini-SWE-agent已评分 259 个实例	3.1%
31	pass@1 · publicOpenAImini-SWE-agent已评分 231 个实例	3.0%
32	pass@1 · publicTencentmini-SWE-agent已评分 261 个实例	2.3%
33	pass@1 · publicDeepSeekmini-SWE-agent已评分 248 个实例	2.0%
34	pass@1 · publicOpenAImini-SWE-agent已评分 256 个实例	1.6%
35	pass@1 · publicxAImini-SWE-agent已评分 218 个实例	0.9%
36	pass@1 · publicDeepSeekmini-SWE-agent已评分 262 个实例	0.8%
36	pass@1 · publicZhipu AImini-SWE-agent已评分 244 个实例	0.8%
38	pass@1 · publicAnthropicmini-SWE-agent已评分 240 个实例	0.4%
38	pass@1 · publicStepFunmini-SWE-agent已评分 262 个实例	0.4%
40	pass@1 · publicGooglemini-SWE-agent已评分 241 个实例	0.0%
40	pass@1 · publicZhipu AImini-SWE-agent已评分 262 个实例	0.0%
40	pass@1 · publicThinking Machines Labmini-SWE-agent已评分 248 个实例	0.0%
40	pass@1 · publicMetamini-SWE-agent已评分 255 个实例	0.0%

1Most of its 81 failed runs are cyber-safeguard refusals.
2Does not refuse: requests flagged by its cyber safeguards are answered by Claude Opus 4.8 instead.

一次评测如何计分？

公开与内部评测在工具框架、尝试次数、安全防护和预算上存在差异，请结合每行标签阅读。这里展示来源站原始成绩，DecryptHub 不重新评测或打分。

SRE-Bench

成本与表现

完整榜单

一次评测如何计分？

SRE-Bench

成本与表现

完整榜单

一次评测如何计分？