SOURCE-PINNED BENCHMARK RECORDS
公开任务库
从 18 个固定版本基准来源收集的 4,552 条公开基准任务定义和 831 条参数化定义(模板与层级变体),保留来源原文、验证器引用与源码快照。
任务定义,不是执行成绩。保留原始文本与上游许可。
来源对照
| 来源 | 记录 | 平台 | 许可 | 证据 |
|---|---|---|---|---|
| OSWorld | 418 | Linux / Windows | Apache-2.0 | b138d348 · 源码 ZIP |
| Windows Agent Arena | 154 | Windows | MIT | 6d39ed88 · 源码 ZIP |
| WebArena | 812 | Web | Apache-2.0 | dce04686 · 源码 ZIP |
| VisualWebArena | 910 | Web | MIT | 89f5af29 · 源码 ZIP |
| macOSWorld | 231 | macOS | CC-BY-NC-4.0 | e2ca8334 · 源码 ZIP |
| AndroidWorld | 116 | Android | Apache-2.0 | 30583e22 · 源码 ZIP |
| TheAgentCompany | 175 | Linux | MIT | 98b68ef8 · 源码 ZIP |
| Enterprise-Bench (DevRev) | 14 | Linux | Apache-2.0 | c921345c · 源码 ZIP |
| iOSWorld | 133 | iOS | Apache-2.0 | c59287b6 · 源码 ZIP |
| WorkArena / WorkArena++ | 715 | Web | Apache-2.0 | e8851309 · 源码 ZIP |
| CADWorld | 200 | Linux | Apache-2.0 | fa02aa03 · 配置 ZIP |
| DeskCraft | 538 | Linux | Apache-2.0 | 73985ecd · 源码 ZIP |
| WeaveBench | 114 | Linux | MIT | cd887bf5 · 源码 ZIP |
| WindowsWorld | 181 | Windows | Apache-2.0 | fbccd464 · 源码 ZIP |
| OmegaUse-OfficeVal | 100 | 未声明 | Apache-2.0 | 5f3da616 · 源码 ZIP |
| SCUBA | 300 | Web | Apache-2.0 | b893e223 · 源码 ZIP |
| Finch / FinWorkBench | 172 | 未声明 | CC-BY-3.0-US | 530700c2 · 原始 JSONL+数据卡 ZIP |
| BankerToolBench | 100 | Linux | CC-BY-4.0 | 6407cdc2 · 原始 JSONL+数据卡 ZIP |