计算机使用智能体分类English
R01.01.02.02 · 任务小类

截图、录屏与剪贴板

Screenshots, recordings & clipboard

Capture exact regions or windows, record the screen, pick colors and move rich content through the clipboard.

20 条本项目编写的提案 · 分类 v1.1 · 新增基准运行 0 次。下方验证方式与部分得分规则是设计,不是执行结果。

典型应用
Screenshot.app · Snipping Tool · OBS
小类 GUI 需求标签
G3 · 仅 GUI

任务提案 · 20

展开查看完整原文与建议检查方式;两种界面均保留提案英文原文。

R01.01.02.02-T01 Window-only screenshot of Calculator without shadow

原始指令

Take a screenshot of only the Calculator window (no desktop, no window shadow) and save it to the Desktop as calc.png. Do not crop afterwards in another app.

平台
mac · macOS
应用
Screenshot.app · Calculator
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
CL · CLI 足够
交互原语
key · 快捷键 click · 指向与点击
工作产物
WP09 · 文件与文件夹
条件
未声明
提案难度
2 / 5

建议验证方式

calc.png dims equal Calculator window bounds × backing scale (±2 px), no transparent shadow margin (alpha=255 at edges), SSIM ≥0.95 vs grader capture. Terminal withheld; eslogger detects screencapture or Python capture libs -> 0.

建议部分得分

40% file saved with correct name/location; 30% window-only dims; 30% no shadow

R01.01.02.02-T02 Snip an Excel chart region to PNG

原始指令

fixtures\q3_sales.xlsx is open with a column chart on sheet 'Summary'. Use Snipping Tool rectangle mode to capture just the chart (chart border included, no cells outside) and save it as C:\out\chart.png.

平台
win · Windows
应用
Snipping Tool · Excel
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
CL · CLI 足够
交互原语
drag · 拖放 geom · 精确几何
工作产物
WP09 · 文件与文件夹
条件
licensed · 授权专业软件
提案难度
3 / 5

建议验证方式

chart.png bbox vs chart object screen rect (UIA): IoU ≥0.92; SSIM ≥0.9 vs reference crop; file written by SnippingTool.exe (Sysmon EID11 image path). PowerShell/Python blocked by AppLocker; ImageGrab or PowerShell capture detected -> 0.

建议部分得分

30% file saved; 50% crop IoU ≥0.92; 20% SSIM

R01.01.02.02-T03 Change screenshot destination and capture options

原始指令

Using the Screenshot toolbar Options, save screenshots to ~/Pictures/Shots (create it), turn off 'Show Floating Thumbnail', turn on 'Show Mouse Pointer' and set a 5-second timer default. Then take one full-screen shot.

平台
mac · macOS
应用
Screenshot.app
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
G2 · GUI 必要
交互原语
key · 快捷键 click · 指向与点击
工作产物
WP08 · 应用 / 系统状态
条件
未声明
提案难度
2 / 5

建议验证方式

com.apple.screencapture location=~/Pictures/Shots, show-thumbnail=0, showsCursor=1, delay 5 (timer pref); one new PNG in Shots with screen dims. Terminal withheld; eslogger detects defaults write com.apple.screencapture -> 0.

建议部分得分

25% location; 20% thumbnail off; 35% pointer on and 5 s timer; 20% capture landed in Shots

R01.01.02.02-T04 Measure a logo color and record it in Notes

原始指令

Open fixtures/slide.key in Keynote, use Digital Color Meter (Display native values) to measure the solid orange of the logo on slide 1, and create a Note titled 'Logo color' with the decimal RGB as 'R,G,B'.

平台
mac · macOS
应用
Digital Color Meter · Keynote · Notes
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
G2 · GUI 必要
交互原语
hover · 悬停与上下文 vis · 视觉判断 multi · 跨应用
工作产物
WP12 · 答案 / 决策
条件
multiapp · 多应用 licensed · 授权专业软件
提案难度
3 / 5

建议验证方式

Notes DB note 'Logo color' body parses to R,G,B each within ±2 of the fixture's rendered value (display-native). Values typed from the file's XML/hex (sRGB not display) mismatch by design. Terminal withheld; eslogger detects screencapture/Python pixel sampling -> 0.

建议部分得分

30% note created with title; 70% RGB within ±2 (per-channel credit)

R01.01.02.02-T05 Region screen recording of an animation at 1280×720

原始指令

Open fixtures/anim.html in Safari. Record a 10-second video of only the 1280×720 animation canvas region with mouse clicks shown, saving to ~/Movies/anim_rec.mov via the Screenshot toolbar. Click the canvas once during recording.

平台
mac · macOS
应用
Screenshot.app · Safari
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
G2 · GUI 必要
交互原语
drag · 拖放 geom · 精确几何 av · 音视频时序
工作产物
WP05 · 时序媒体
条件
未声明
提案难度
4 / 5

建议验证方式

ffprobe: duration 9–12 s, frame size 1280×720 ±8 (logical) or ×2; sampled frames SSIM ≥0.85 vs reference canvas frames; click indicator detected in ≥1 frame. Terminal withheld; eslogger detects screencapture -v/ffmpeg avfoundation -> 0.

建议部分得分

20% file exists; 30% duration; 30% region crop; 20% click shown

R01.01.02.02-T06 Snipping Tool video with system audio

原始指令

Use Snipping Tool's video mode to record the region of the open media player window while it plays fixtures\tone_demo.mp4 for 8–12 s, with system audio on and mic off. Save as C:\out\demo.mp4.

平台
win · Windows
应用
Snipping Tool · Media Player
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
G2 · GUI 必要
交互原语
drag · 拖放 geom · 精确几何 av · 音视频时序
工作产物
WP05 · 时序媒体
条件
未声明
提案难度
4 / 5

建议验证方式

ffprobe: one video stream with frame size within ±10 px of player window rect, duration 8–12 s, AAC audio stream whose spectrum has a 1 kHz peak and no mic noise floor >-50 dBFS. No ffmpeg on the VM and PowerShell AppLocker-blocked; Sysmon detects ffmpeg/gdigrab or a writer other than Snipping Tool -> 0.

建议部分得分

20% file saved; 30% region dims; 20% duration; 30% system audio present, mic off

R01.01.02.02-T07 OBS scene: cropped display plus picture-in-picture camera

原始指令

In OBS create scene 'Tutorial' with a Display Capture cropped to the top-left quadrant and scaled to fill the 1920×1080 canvas, plus the virtual test-pattern camera at 25% size anchored bottom-right with a 20 px margin. Record 15 s to ~/Videos/tutorial.mkv.

平台
mac · macOS win · Windows
应用
OBS
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
CL · CLI 足够
交互原语
drag · 拖放 geom · 精确几何 vis · 视觉判断
工作产物
WP05 · 时序媒体
条件
未声明
提案难度
4 / 5

建议验证方式

Scene collection JSON: crop values = half display dims, transform scale fills canvas; camera bounds 480×270 at (1420,790) ±6. Recording frames: test pattern template found bottom-right. obs-websocket disabled; collection edits outside OBS detected by mtime/OBS log.

建议部分得分

30% display crop/scale; 40% camera size/position; 30% recording with correct composition

R01.01.02.02-T08 OBS recording output for editing-friendly masters

原始指令

Configure OBS Output (Advanced): recording format MKV, x264 CRF 18 preset 'veryfast', 1920×1080 at 30 fps, audio track 1 = Desktop Audio, track 2 = Mic/Aux, and turn on 'Automatically remux to MP4'. Record 10 s.

平台
mac · macOS win · Windows
应用
OBS
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
G2 · GUI 必要
交互原语
click · 指向与点击 type · 文字与表单 nav · 平移 / 缩放 / 滚动
工作产物
WP05 · 时序媒体
条件
未声明
提案难度
3 / 5

建议验证方式

basic.ini RecFormat2=mkv, RecTracks=3, video base/output 1920x1080 FPS 30; recordEncoder.json crf=18 preset veryfast; per-source mixer tracks; ffprobe remuxed MP4: h264 1080p30 + 2 audio streams. obs-websocket disabled; profile/ini edits outside OBS detected by mtime/OBS log.

建议部分得分

30% format/encoder; 20% video settings; 30% audio track routing; 20% remuxed file correct

R01.01.02.02-T09 Paste a formatted Word table into an email draft

原始指令

Copy the 4×3 table (bold header row, shaded column A) from fixtures\rates.docx and paste it into a new Outlook email draft to qa@example.test with subject 'Rates', keeping source formatting. Save the draft; do not send.

平台
win · Windows mac · macOS
应用
Word · Outlook
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
CL · CLI 足够
交互原语
multi · 跨应用 click · 指向与点击 key · 快捷键
工作产物
WP08 · 应用 / 系统状态
条件
multiapp · 多应用 licensed · 授权专业软件 risk · 高风险 / 不可逆
提案难度
3 / 5

建议验证方式

Drafts folder (test mailbox via EWS/Graph read-only) has one draft: To and subject exact; body HTML contains a <table> with 4 rows × 3 cols, header cells bold, column A background color matches docx shading; Sent Items empty. Agent VM has no Graph/EWS credentials, so the draft must be saved by the Outlook client; scripted Word/Outlook automation (Sysmon/eslogger) -> 0.

建议部分得分

20% draft with recipient/subject; 40% table structure; 30% formatting kept; 10% not sent

R01.01.02.02-T10 Enable clipboard history and pin three snippets

原始指令

Turn on clipboard history, copy the three lines in fixtures\snippets.txt one at a time, pin all three in the Win+V panel, then paste the second line into a new Notepad file saved as C:\out\paste.txt.

平台
win · Windows
应用
Windows Settings · Clipboard history · Notepad
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G3 · 仅 GUI
GUI 需求 · 普通权限
G2 · GUI 必要
交互原语
key · 快捷键 click · 指向与点击
工作产物
WP08 · 应用 / 系统状态
条件
未声明
提案难度
2 / 5

建议验证方式

HKCU\Software\Microsoft\Clipboard EnableClipboardHistory=1; %LOCALAPPDATA%\Microsoft\Windows\Clipboard\Pinned contains exactly the 3 texts; paste.txt == line 2. No API pins history items; PowerShell blocked by AppLocker and Sysmon detects scripted clipboard writes -> 0.

建议部分得分

20% history enabled; 50% three pinned; 30% correct paste

R01.01.02.02-T11 Full-page screenshot of a long web page

原始指令

Capture the entire scroll height of fixtures/longpage.html (about 9,000 px tall) as one PNG named page_full.png using Firefox's built-in Screenshot tool, on both test machines.

平台
mac · macOS win · Windows web · 任意系统(网页)
应用
Firefox
交互表面
brow · 浏览器
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
CL · CLI 足够
交互原语
click · 指向与点击 nav · 平移 / 缩放 / 滚动
工作产物
WP09 · 文件与文件夹
条件
未声明
提案难度
3 / 5

建议验证方式

page_full.png width equals page CSS width × DPR, height within ±2% of document.scrollHeight × DPR; bottom footer text found by OCR; SSIM vs reference render ≥0.9. Terminal/PowerShell withheld; headless --screenshot or devtools :screenshot commands detected via eslogger/Sysmon exec audit -> 0.

建议部分得分

30% file saved; 40% full height; 30% content matches reference

R01.01.02.02-T12 Annotate a settings screenshot with arrow and blur

原始指令

Capture the Bluetooth settings window, then in Preview Markup (macOS) or Snipping Tool (Windows) draw a red arrow pointing at the Bluetooth toggle and blur or black out the device name 'Lab-Mac-07'. Save as annotated.png on the Desktop.

平台
mac · macOS win · Windows
应用
Preview · Snipping Tool
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
G2 · GUI 必要
交互原语
path · 连续路径 drag · 拖放 vis · 视觉判断
工作产物
WP03 · 视觉排版
条件
未声明
提案难度
4 / 5

建议验证方式

Detect red (#FF0000±40) arrow blob; its tip within 40 px of toggle bbox (from grader reference capture); OCR on the name bbox must not read 'Lab-Mac-07'; rest of image SSIM ≥0.9 vs reference. Shells withheld; eslogger/Sysmon detect ImageMagick/PIL exec -> 0.

建议部分得分

20% screenshot saved; 40% arrow points to toggle; 40% device name obscured

R01.01.02.02-T13 Capture an open menu-bar dropdown

原始指令

Open the Wi-Fi menu in the menu bar and capture just that dropdown menu (use a timer or menu capture) to ~/Desktop/wifi_menu.png. The menu must be fully visible, including the network list.

平台
mac · macOS
应用
Screenshot.app · Control Center
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G3 · 仅 GUI
GUI 需求 · 普通权限
G3 · 仅 GUI
交互原语
key · 快捷键 click · 指向与点击 vis · 视觉判断
工作产物
WP09 · 文件与文件夹
条件
未声明
提案难度
3 / 5

建议验证方式

OCR of wifi_menu.png contains 'Wi-Fi' and ≥2 seeded SSIDs; image dims within ±10% of menu window bounds; no desktop wallpaper pixels (>90% of image inside menu frame). Terminal withheld; eslogger detects screencapture CLI/Python capture -> 0.

建议部分得分

30% file saved; 40% menu visible with SSIDs; 30% cropped to menu

R01.01.02.02-T14 Capture an exact 640×360 region by coordinates

原始指令

Capture exactly the screen region from (200,150) to (840,510) points on the main display as region.png, using the screenshot crosshair's coordinate readout. Retina output must be 1280×720 px.

平台
mac · macOS
应用
Screenshot.app
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
CL · CLI 足够
交互原语
drag · 拖放 geom · 精确几何
工作产物
WP09 · 文件与文件夹
条件
未声明
提案难度
4 / 5

建议验证方式

region.png dims 1280×720 ±4 px; content SSIM ≥0.95 vs grader capture of the same rect from a frozen fixture wallpaper with a calibration grid (origin offset ≤2 pt). Terminal withheld; eslogger detects screencapture -R -> 0.

建议部分得分

50% exact dims; 50% correct origin (content match)

R01.01.02.02-T15 GIF bug repro with ShareX

原始指令

Use ShareX screen recording (GIF) to capture a ≤8 s clip of clicking 'Submit' in fixtures\bug.html until the red error toast appears. Region: the browser content area only. Save as C:\out\bug.gif under 5 MB.

平台
win · Windows
应用
ShareX · Edge
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
G2 · GUI 必要
交互原语
drag · 拖放 av · 音视频时序 click · 指向与点击
工作产物
WP05 · 时序媒体
条件
未声明
提案难度
3 / 5

建议验证方式

GIF: frame-count/duration ≤8 s, size <5 MB; last frames template-match the red toast; first frame lacks it; frame dims within ±10 px of content area. No ffmpeg on the VM and PowerShell AppLocker-blocked; Sysmon detects scripted capture -> 0.

建议部分得分

20% GIF saved; 40% shows before→after toast; 20% region; 20% size/duration

R01.01.02.02-T16 Live stream with timed scene switches

原始指令

Stream from OBS to rtmp://127.0.0.1/live/test (local server) using scene 'Main'. Exactly 20 s after going live switch to scene 'BRB' (solid blue + text), hold 10 s, switch back to 'Main', and stop the stream at 45 s.

平台
mac · macOS win · Windows
应用
OBS
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
AP · API 足够
交互原语
click · 指向与点击 rt · 实时控制
工作产物
WP05 · 时序媒体
条件
未声明
提案难度
5 / 5

建议验证方式

Server-side recording: frame classifier finds BRB (blue) from 20±1 s to 30±1 s, Main otherwise; total length 45±2 s. obs-websocket disabled; OBS log scene-switch events must come from UI.

建议部分得分

20% stream received; 40% BRB timing within ±1 s; 20% back to Main; 20% total length

R01.01.02.02-T17 Copy text out of a scanned image into a form

原始指令

fixtures/scan.png is a scanned invoice. Use Live Text (Preview) or Snipping Tool Text actions to copy the invoice number and IBAN, and paste them into the matching fields of the open local form http://localhost:8080/ap-entry; save the form.

平台
mac · macOS win · Windows
应用
Preview · Snipping Tool · Browser
交互表面
desk · 桌面 GUI brow · 浏览器
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
G2 · GUI 必要
交互原语
drag · 拖放 multi · 跨应用 type · 文字与表单
工作产物
WP02 · 记录 / 表格
条件
multiapp · 多应用
提案难度
3 / 5

建议验证方式

Form backend DB row: invoice_no and iban exactly equal ground truth (IBAN without spaces normalized); values must arrive via paste events logged in the page session; Terminal/PowerShell withheld and external OCR tools detected by eslogger/Sysmon -> 0.

建议部分得分

40% invoice number; 50% IBAN; 10% saved

R01.01.02.02-T18 Move an image and styled text between apps correctly

原始指令

Copy photo 'Lighthouse' from Photos and paste it into slide 2 of fixtures/deck.key replacing the image placeholder; copy the paragraph from fixtures/article.html in Safari into fixtures/memo.pages with Paste and Match Style. Save both.

平台
mac · macOS
应用
Photos · Keynote · Pages · Safari
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
CL · CLI 足够
交互原语
multi · 跨应用 key · 快捷键 click · 指向与点击
工作产物
WP03 · 视觉排版
条件
multiapp · 多应用 licensed · 授权专业软件
提案难度
3 / 5

建议验证方式

deck.key slide 2 placeholder replaced (no placeholder tag) by image with perceptual hash ≤6 from source; memo.pages new paragraph text equals source and uses the document Body style (no foreign font). Terminal and Script Editor withheld; eslogger detects osascript or writes to deck.key/memo.pages by non-iWork processes -> 0.

建议部分得分

50% image in placeholder; 40% text with matched style; 10% both files saved

R01.01.02.02-T19 Five-step tutorial screenshot set

原始指令

Produce window-only screenshots step1.png–step5.png for 'Turn on Night light schedule' in Windows Settings: Settings home, System, Display, Night light page, schedule set to 21:00–07:00. Each image must show only the Settings window. Restore the original Night light state afterwards.

平台
win · Windows
应用
Snipping Tool · Windows Settings
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
G2 · GUI 必要
交互原语
click · 指向与点击 vis · 视觉判断 key · 快捷键
工作产物
WP09 · 文件与文件夹
条件
long · 长流程
提案难度
5 / 5

建议验证方式

Each PNG: dims ≈ Settings window rect (±10 px), OCR page header matches expected step; step5 OCR shows 21:00 and 07:00; final Night light settings equal seed. PowerShell/Python blocked by AppLocker; Sysmon detects scripted capture -> 0.

建议部分得分

50% five correct steps (equal share per step); 20% window-only crops; 30% original state restored

R01.01.02.02-T20 Save an instant replay containing a cued event

原始指令

Enable OBS Replay Buffer (20 s) with hotkey F9 for 'Save Replay'. Play fixtures/cue_clip.mp4 full-screen in a Media Source; within 5 s after the red flash appears, press F9. The saved replay must contain the flash.

平台
mac · macOS win · Windows
应用
OBS
交互表面
desk · 桌面 GUI
GUI 需求 · 任务设定
G2 · GUI 必要
GUI 需求 · 普通权限
G2 · GUI 必要
交互原语
key · 快捷键 rt · 实时控制 av · 音视频时序
工作产物
WP05 · 时序媒体
条件
interrupt · 中断
提案难度
5 / 5

建议验证方式

Replay file exists; duration ≤21 s; red-flash frame located within its last 5 s by color classifier; profile ini ReplayBuffer enabled 20 s; hotkey binding F9 in scene collection. obs-websocket disabled; profile/ini edits outside OBS detected by mtime/OBS log.

建议部分得分

30% buffer + hotkey configured; 30% replay saved; 40% flash within last 5 s

已有研究映射

以下沿用研究目录中的基准与小类映射,不是逐题标注、执行记录或产品背书。

同工作流族的小类