R03.08.01.03 · 任务小类

文本、音频与文档标注

Text, audio & document labeling

Label spans, segments and document fields consistently with a guideline.

20 条本项目编写的提案 · 分类 v1.1 · 新增基准运行 0 次。下方验证方式与部分得分规则是设计，不是执行结果。

典型应用: Label Studio · Doccano · Prodigy
小类 GUI 需求标签: G2 · GUI 必要

任务提案 · 20

展开查看完整原文与建议检查方式；两种界面均保留提案英文原文。

R03.08.01.03-T01 Label PERSON and ORG spans

原始指令

In Doccano project 'ner20' (20 news sentences), label every PERSON and ORG mention as a span with the correct type, following the guideline (titles excluded from PERSON; include full org names). Submit all documents.

平台: web · 任意系统（网页）
应用: Doccano · Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 click · 指向与点击 type · 文字与表单
工作产物: WP10 · 标注
条件: 未声明
提案难度: 3 / 5

建议验证方式

Span-level F1 >= 0.9 vs gold for both PERSON and ORG (exact boundary + type). Graded on exported spans; labels must be created in the tool. Doccano issues the agent no API token and its annotator role cannot import datasets, so labels can be created only in the annotation UI.

建议部分得分

40% entities found; 40% F1 >= 0.9; 20% boundary rules followed

R03.08.01.03-T02 Classify 30 reviews by sentiment

原始指令

In Label Studio project 'sent30', assign each of the 30 product reviews one label: positive, negative, or neutral, per the guideline (mixed reviews -> neutral). Submit.

平台: web · 任意系统（网页）
应用: Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: click · 指向与点击 vis · 视觉判断
工作产物: WP10 · 标注
条件: 未声明
提案难度: 2 / 5

建议验证方式

Classification accuracy >= 0.9 vs gold across the 30 reviews. Graded on the submitted labels. Label Studio API tokens are disabled for the agent and import is turned off, so annotations can be submitted only from the labeling UI; each must carry a non-zero lead_time.

建议部分得分

20% all 30 reviews labeled and submitted; 80% scaled by accuracy (pass at >=0.9)

R03.08.01.03-T03 Segment speaker turns in audio

原始指令

In Label Studio audio (or Audacity label track), open convo.wav (2-minute two-speaker dialogue) and mark each speaker turn as a labeled region (SpeakerA/SpeakerB), covering the whole clip with no gaps during speech. Submit.

平台: web · 任意系统（网页） win · Windows mac · macOS lin · Linux
应用: Label Studio · Audacity
交互表面: brow · 浏览器 desk · 桌面 GUI
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 av · 音视频时序 vis · 视觉判断
工作产物: WP10 · 标注
条件: 未声明
提案难度: 4 / 5

建议验证方式

Turn boundary error <= 0.3 s vs gold and speaker labels correct for >= 90% of speech time. Graded on the exported regions. Label Studio API tokens and import are disabled for the agent; in Audacity, mod-script-pipe and the Nyquist Prompt are disabled and a file-access audit must show Audacity wrote any label export.

建议部分得分

40% turns segmented; 30% boundary error <= 0.3s; 30% speaker labels correct

R03.08.01.03-T04 Annotate relations between entities

原始指令

In Doccano relation mode, project 'rel15', entities are pre-labeled; add the relation links (works_for, located_in, founded_by) between the correct entity pairs per the guideline across 15 documents. Submit.

平台: web · 任意系统（网页）
应用: Doccano · Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 click · 指向与点击 vis · 视觉判断
工作产物: WP10 · 标注
条件: 未声明
提案难度: 4 / 5

建议验证方式

Relation-level F1 >= 0.85 vs gold (correct pair + type). Graded on exported relations. Doccano issues the agent no API token and its annotator role cannot import datasets, so labels can be created only in the annotation UI.

建议部分得分

40% relations added; 40% F1 >= 0.85; 20% no spurious links

R03.08.01.03-T05 Coreference clustering

原始指令

In INCEpTION/Label Studio project 'coref10', link all mentions that refer to the same entity into coreference chains across each of the 10 short passages, following the guideline on pronouns and nominal mentions. Submit.

平台: web · 任意系统（网页）
应用: Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 click · 指向与点击 vis · 视觉判断
工作产物: WP10 · 标注
条件: 未声明
提案难度: 4 / 5

建议验证方式

Coreference CoNLL F1 (MUC/B3/CEAF average) >= 0.8 vs gold. Graded on the exported chains. Label Studio API tokens are disabled for the agent and import is turned off, so annotations can be submitted only from the labeling UI; each must carry a non-zero lead_time.

建议部分得分

30% mentions linked; 40% F1 >= 0.8; 30% pronoun rule followed

R03.08.01.03-T06 Label invoice fields on scans (KIE)

原始指令

In Label Studio project 'invoice8' (8 scanned invoices), label the key fields as spans/regions: vendor name, invoice number, invoice date, total amount, and tax. Use the region tool on the scanned image text. Submit.

平台: web · 任意系统（网页）
应用: Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 click · 指向与点击 vis · 视觉判断
工作产物: WP10 · 标注
条件: 未声明
提案难度: 4 / 5

建议验证方式

Per-field accuracy >= 0.9 vs gold (correct region containing the right value) across the 8 invoices. Graded on the labeled regions. Label Studio API tokens are disabled for the agent and import is turned off, so annotations can be submitted only from the labeling UI; each must carry a non-zero lead_time.

建议部分得分

40% all fields present; 40% field accuracy >= 0.9; 20% region boundaries correct

R03.08.01.03-T07 Classify utterance intents

原始指令

In Label Studio project 'intent40', assign each of the 40 chat utterances one intent from the 6-class scheme (greeting, order, cancel, refund, question, other) per the guideline. Submit.

平台: web · 任意系统（网页）
应用: Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: click · 指向与点击
工作产物: WP10 · 标注
条件: 未声明
提案难度: 2 / 5

建议验证方式

Intent accuracy >= 0.9 vs gold across the 40 utterances. Graded on the submitted labels. Label Studio API tokens are disabled for the agent and import is turned off, so annotations can be submitted only from the labeling UI; each must carry a non-zero lead_time.

建议部分得分

20% all 40 utterances labeled and submitted; 80% scaled by accuracy (pass at >=0.9)

R03.08.01.03-T08 Fine-grained NER with five classes

原始指令

In Doccano project 'ner5class' (25 biomedical-style synthetic sentences), label spans for DISEASE, DRUG, DOSAGE, FREQUENCY, and SYMPTOM per the guideline (dosage includes units). Submit.

平台: web · 任意系统（网页）
应用: Doccano
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 click · 指向与点击 type · 文字与表单
工作产物: WP10 · 标注
条件: 未声明
提案难度: 3 / 5

建议验证方式

Macro span F1 >= 0.85 across the five classes vs gold (exact span + type). Graded on exported spans. Doccano issues the agent no API token and its annotator role cannot import datasets, so labels can be created only in the annotation UI.

建议部分得分

30% entities found; 40% macro F1 >= 0.85; 30% unit-inclusion rule for dosage

R03.08.01.03-T09 Label non-speech audio events

原始指令

In Label Studio audio project 'events', mark labeled regions for each cough, laugh, and music segment in clip.wav, leaving speech unlabeled. Submit.

平台: web · 任意系统（网页）
应用: Label Studio · Audacity
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 av · 音视频时序 vis · 视觉判断
工作产物: WP10 · 标注
条件: 未声明
提案难度: 3 / 5

建议验证方式

Event-level F1 >= 0.8 vs gold with onset error <= 0.3 s per event. Graded on exported regions. Label Studio API tokens are disabled for the agent and import is turned off, so annotations can be submitted only from the labeling UI; each must carry a non-zero lead_time.

建议部分得分

40% events detected; 30% onset error <= 0.3s; 30% F1 >= 0.8

R03.08.01.03-T10 Aspect-based sentiment spans

原始指令

In Label Studio project 'absa20' (20 restaurant reviews), label each aspect term span and attach a sentiment (positive/negative/neutral) attribute to it, per the guideline. Submit.

平台: web · 任意系统（网页）
应用: Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 click · 指向与点击 vis · 视觉判断
工作产物: WP10 · 标注
条件: 未声明
提案难度: 3 / 5

建议验证方式

Aspect-span F1 >= 0.8 and sentiment accuracy on matched aspects >= 0.85 vs gold. Graded on exported spans + attributes. Label Studio API tokens are disabled for the agent and import is turned off, so annotations can be submitted only from the labeling UI; each must carry a non-zero lead_time.

建议部分得分

40% aspect spans; 30% span F1 >= 0.8; 30% sentiment accuracy

R03.08.01.03-T11 Label PII types in documents

原始指令

In Doccano project 'pii12' (12 synthetic documents), label spans for the PII categories NAME, ADDRESS, PHONE, EMAIL, and ID_NUMBER per the guideline. All data is synthetic. Submit.

平台: web · 任意系统（网页）
应用: Doccano · Prodigy
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 click · 指向与点击 type · 文字与表单
工作产物: WP10 · 标注
条件: 未声明
提案难度: 3 / 5

建议验证方式

Span F1 >= 0.9 per category vs gold. Graded on exported spans; synthetic data only. Doccano issues the agent no API token and its annotator role cannot import datasets, so labels can be created only in the annotation UI.

建议部分得分

40% PII found; 40% F1 >= 0.9; 20% category precision

R03.08.01.03-T12 Multi-label topic tagging

原始指令

In Label Studio project 'topics25', assign each of the 25 articles all applicable topic tags from the 8-tag scheme (an article may have several), per the guideline. Submit.

平台: web · 任意系统（网页）
应用: Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: click · 指向与点击 vis · 视觉判断
工作产物: WP10 · 标注
条件: 未声明
提案难度: 3 / 5

建议验证方式

Micro-averaged multi-label F1 >= 0.85 vs gold across the 25 articles. Graded on the submitted tag sets. Label Studio API tokens are disabled for the agent and import is turned off, so annotations can be submitted only from the labeling UI; each must carry a non-zero lead_time.

建议部分得分

50% tags assigned; 50% micro F1 >= 0.85

R03.08.01.03-T13 Sequence labeling in Doccano

原始指令

In Doccano sequence-labeling project 'chunk15' (15 sentences), label each token span with its chunk tag (NP, VP, PP) per the guideline so adjacent same-type tokens form one span. Submit.

平台: web · 任意系统（网页）
应用: Doccano
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 click · 指向与点击
工作产物: WP10 · 标注
条件: 未声明
提案难度: 3 / 5

建议验证方式

Chunk span F1 >= 0.85 vs gold (boundaries + type). Graded on exported spans. Doccano issues the agent no API token and its annotator role cannot import datasets, so labels can be created only in the annotation UI.

建议部分得分

40% tokens labeled; 40% F1 >= 0.85; 20% span merging correct

R03.08.01.03-T14 Label noise vs speech regions in Audacity

原始指令

In Audacity, open noisy_clip.wav and add a label track marking regions as 'speech' or 'noise', so every segment with background noise interference is captured. Export the label track as labels.txt.

平台: win · Windows mac · macOS lin · Linux
应用: Audacity
交互表面: desk · 桌面 GUI
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: CL · CLI 足够
交互原语: drag · 拖放 av · 音视频时序 vis · 视觉判断
工作产物: WP10 · 标注
条件: 未声明
提案难度: 3 / 5

建议验证方式

labels.txt region boundaries match gold within 0.3 s and the speech/noise labels agree >= 90% by time. Graded on the exported label track. Audacity's mod-script-pipe and Nyquist Prompt are disabled, the desktop has no terminal, and a file-access audit must show Audacity as the process that wrote labels.txt.

建议部分得分

40% regions marked; 30% boundary tolerance; 30% label agreement

R03.08.01.03-T15 Label document layout regions

原始指令

In Label Studio project 'layout6' (6 scanned pages), draw region boxes labeled Title, Paragraph, Table, and Figure over each page element per the guideline (captions belong to Figure). Submit.

平台: web · 任意系统（网页）
应用: Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 geom · 精确几何 vis · 视觉判断
工作产物: WP10 · 标注
条件: 未声明
提案难度: 4 / 5

建议验证方式

Region-level mean IoU >= 0.7 and label accuracy >= 0.9 vs gold across the 6 pages. Graded on exported regions. Label Studio API tokens are disabled for the agent and import is turned off, so annotations can be submitted only from the labeling UI; each must carry a non-zero lead_time.

建议部分得分

40% all regions boxed; 30% IoU >= 0.7; 30% label accuracy

R03.08.01.03-T16 Binary toxicity classification

原始指令

In Label Studio project 'tox30', label each of 30 forum comments toxic or non-toxic per the guideline (sarcasm without slurs -> non-toxic). Submit.

平台: web · 任意系统（网页）
应用: Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: click · 指向与点击 vis · 视觉判断
工作产物: WP10 · 标注
条件: 未声明
提案难度: 2 / 5

建议验证方式

Accuracy >= 0.9 and F1 on the toxic class >= 0.85 vs gold. Graded on the submitted labels. Label Studio API tokens are disabled for the agent and import is turned off, so annotations can be submitted only from the labeling UI; each must carry a non-zero lead_time.

建议部分得分

50% accuracy >=0.9; 50% toxic-class F1 >= 0.85

R03.08.01.03-T17 Nested entity annotation

原始指令

In INCEpTION/Label Studio project 'nested10', label nested entities where one entity contains another (e.g. an ORG inside a longer FACILITY name), creating both the inner and outer spans per the guideline. Submit.

平台: web · 任意系统（网页）
应用: Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 click · 指向与点击 vis · 视觉判断
工作产物: WP10 · 标注
条件: long · 长流程
提案难度: 5 / 5

建议验证方式

Both inner and outer span F1 >= 0.85 vs gold, with nesting relationships preserved. Graded on the exported nested spans. Label Studio API tokens are disabled for the agent and import is turned off, so annotations can be submitted only from the labeling UI; each must carry a non-zero lead_time.

建议部分得分

30% outer spans; 30% inner spans; 40% nesting correct + F1 >= 0.85

R03.08.01.03-T18 Word-level audio alignment

原始指令

In Label Studio audio (or Praat/Audacity label track), align each word of the provided transcript of speech.wav to its spoken interval, producing one labeled region per word. Submit.

平台: web · 任意系统（网页） win · Windows mac · macOS lin · Linux
应用: Label Studio · Audacity
交互表面: brow · 浏览器 desk · 桌面 GUI
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 av · 音视频时序 type · 文字与表单
工作产物: WP10 · 标注
条件: long · 长流程
提案难度: 5 / 5

建议验证方式

Per-word onset/offset error <= 0.1 s vs gold for >= 90% of words and word order preserved. Graded on the exported word regions. Label Studio API tokens and import are disabled for the agent; in Audacity, mod-script-pipe and the Nyquist Prompt are disabled and a file-access audit must show Audacity wrote any label export.

建议部分得分

40% all words placed in order; 30% onset error; 30% offset error

R03.08.01.03-T19 Guideline consistency on edge cases

原始指令

In Doccano project 'edge20', 20 sentences contain the ambiguous cases enumerated in the guideline (e.g. nationalities, product-as-org, abbreviations). Apply the guideline's rules consistently to label entity spans across all of them. Submit.

平台: web · 任意系统（网页）
应用: Doccano
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 click · 指向与点击 type · 文字与表单
工作产物: WP10 · 标注
条件: clarify · 需要澄清
提案难度: 3 / 5

建议验证方式

Span F1 >= 0.9 vs the guideline-derived gold, with the edge-case rules applied consistently (consistency check across the 20 items). Graded on exported spans + a rule-consistency metric. Doccano issues the agent no API token and its annotator role cannot import datasets, so labels can be created only in the annotation UI.

建议部分得分

40% entities found; 30% F1 >= 0.9; 30% edge-case consistency

R03.08.01.03-T20 Combined entities, relations, and fields

原始指令

In Label Studio project 'mixed10' (10 contracts), label entity spans (party, date, amount), relations (party-signs-contract), and the document field 'effective_date' on each, following the guideline. Submit all tasks.

平台: web · 任意系统（网页）
应用: Label Studio
交互表面: brow · 浏览器
GUI 需求 · 任务设定: G2 · GUI 必要
GUI 需求 · 普通权限: G2 · GUI 必要
交互原语: drag · 拖放 click · 指向与点击 type · 文字与表单
工作产物: WP10 · 标注
条件: long · 长流程
提案难度: 5 / 5

建议验证方式

Entity span F1 >= 0.85, relation F1 >= 0.8, and effective_date field accuracy >= 0.9 vs gold across the 10 contracts. Graded on the combined export. Label Studio API tokens are disabled for the agent and import is turned off, so annotations can be submitted only from the labeling UI; each must carry a non-zero lead_time.

文本、音频与文档标注

任务提案 · 20

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

原始指令

建议验证方式

建议部分得分

已有研究映射

同工作流族的小类