支撑分类与评测设计的研究
这七篇精选论文连接计算机使用、组织工作与评测。下方启发是本项目的设计建议;本页不是系统文献综述,也不表示已复现相应基准。
TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks
模拟公司将软件工具、同事沟通和执行结果检查放在同一环境中,启发我们按跨应用、跨人员的工作过程评价代理。
设计启发:对 CUA-Anything 的建议:保留共享组织状态,同时验收交接和最终产物。
阅读范围:Full-text introduction and evaluation sections
官方实现 ↗WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks?
ServiceNow 任务与 BrowserGym 将企业知识工作放进可复现的浏览器代理环境。任务类型、参数化实例和软件平台属于不同计数单位。
设计启发:应用覆盖、任务定义与实际抽样运行应分别统计。
阅读范围:Full-text abstract and benchmark description
官方实现 ↗WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks
把原子动作组合成需要规划、检索、推理和记忆的知识工作流。参数化实例需要固定评测课程,才能进行公平比较。
设计启发:从已验证子任务组合岗位片段,并固定随机种子、环境版本与评分标准。
阅读范围:Full-text introduction and evaluation curriculum
官方实现 ↗OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
将真实桌面与网页任务配上初始状态配置及执行式验证器,为区分任务创意与可复现、可验收的任务包提供参考。
设计启发:CUA-Anything 收录的任务包应包含准备、验证器、重置与来源。
阅读范围:Full-text abstract and task/evaluation description
官方实现 ↗WorkWorlds: An Infrastructure for Evaluating AI Agents on Workplace Tasks
先固定组织状态、日期和员工可访问的信息,再加入任务,提醒我们:为题目精挑上下文可能提前完成信息定位,影响工作场景评测。
设计启发:检查题目在包含无关信息与状态变化的共享环境中是否仍成立。当前仅作摘要级研究,未复现实验。
阅读范围:Abstract and version metadata only; preprint
Do's and Don'ts for Human and Digital Worker Integration
主张按不同自主程度与人类参与方式整合数字员工,并采用超越生产率的评价指标。
设计启发:在完成率之外记录升级处理、人工投入和恢复。这属于概念指导,不是基准性能证据。
阅读范围:Abstract only; position paper
GEO: Generative Engine Optimization
在特定生成式搜索实验中研究内容可见性,包括引用和统计信息。实验增益不等于当前 Google 排名规则,也不保证本站效果。
设计启发:发布可检查证据和准确的定义,再观察真实引用与流量,不承诺排名提升。
阅读范围:Full-text methods and evaluation sections
搜索发现:证据支持什么
我们的做法是可直接阅读的 HTML、稳定链接、原始证据、清晰定义和站点地图。Google 说明 AI 搜索仍依赖基础搜索系统,无需特殊 AI 文本文件。OpenAI 将 OAI-SearchBot 定义为搜索抓取器。IndexNow 用于通知参与的搜索引擎页面变化,不代表已获收录。