数据总览
标注需求
查找已有需求和结果，进入具体需求后再执行、评估、抽样，并从已完成 Run 生成候选。
全部标注需求
先搜索是否已经存在相同用途的数据。
创建需求
创建标注需求
先创建空的标注需求；进入详情页后再添加一个或多个 Langfuse 问题集合。执行和评估将在需求创建成功后的详情页中分别发起
读取中
标注需求详情
正在读取需求说明。
总问题—
已人工审核问题数—
运行次数0
评估次数0
正在读取语义函数覆盖情况…
运行结果
每次运行分别展示执行器、版本、模型、问题数量和运行成败；评估结果不会覆盖原始运行事实。
选择 Run
每个数据集最多选择一个 Run；参数不同的 Run 不可同时选择。饼图只按勾选的 Run 聚合。
尚未选择运行结果勾选一个或多个 Run 后查看全链路结果分布。
在线 / 离线 ORM 准确率曲线
从当前数据集已完成的运行结果中指定在线和离线角色，也不需要再次选择数据集；系统按当前 GT 动态计算，查看图表不会重新执行问题。
在线、离线可以分别选择多个数据集 Run；两侧选中的数据集集合必须完全一致。
尚未选择运行结果切换运行结果只会使用当前 GT 和当前抽样还原方法重算，不会再次执行问题。
问题数据内容
按问题集合快速定位问题；进入详情后可切换每个已结束的 Run，对照当前 GT、最终答案、执行过程和评估结果。
标注任务
标注任务
进入任务后查看全部问题，再选择已完成 Run 生成候选。
任务问题0本任务固定范围
已有候选或 GT00%
当前 GT0已形成答案 GT 或裁定 GT
正在读取人工审核分工…
任务问题
显示本任务范围内的全部问题
尚未选择问题请选择左侧问题查看候选状态和只读结果。
人工审核
个人审核任务
查看当前审核员负责的问题和审核记录。
| 问题 | 责任审核员 | 处理优先级 | 需要关注 | 等待时间 | |
|---|---|---|---|---|---|
| 正在读取待确认项目… | |||||
人工复核
人工复核
逐题查看 Run 候选结果、理由和规则证据。
问题
当前问题的关注点会显示在这里。
请选择一个待确认项目
请选择一个待确认项目
使用反馈
反馈
关联具体需求或问题说明现象。反馈不会直接修改原标注。
| 反馈编号 | 相关数据 | 问题描述 | 状态 | 提交人 | |
|---|---|---|---|---|---|
| 正在读取反馈… | |||||
语义函数数量趋势按需查看测试集与 RAG 数量变化
标注口径
标注口径版本管理
当前版本
请选择标注口径
版本、创建人和修改原因会显示在这里。
各步骤的判断规则
请选择一个版本查看。
版本记录
暂无版本记录。