模拟实验
模拟实验无需登录,也不需要配置 LLM API。系统使用内置的模拟数据集,
用真实标签驱动"人工标注",用"真实标签 + 随机噪声"驱动 LLM 打分,完整跑一遍
Pilot 实测 → 方案选择 → 方案执行 → 结果报告。
数据集规模
demo_full.csv:2000 条带标签样本
demo_upload.csv:1500 条待标注样本
demo_mask.csv:1500 条隐藏真实标签
demo_upload.csv:1500 条待标注样本
demo_mask.csv:1500 条隐藏真实标签
Pilot 实测
从 1500 条待标注样本中抽 20 条(可改成按比例,
例如 10% 即 150 条),用真实标签作为人工 GT、加噪分数作为 LLM 输出,估计信号 ρ 与成本参数。
方案推荐
在固定预算下比较纯人工与人工 + LLM,给出人工条数、LLM 覆盖条数、
LLM 重复评估次数与预计成本。
怎么用
- 点击下方【新建任务】创建模拟任务(这个入口只在模拟实验里出现)。
- 预算默认
200 / 1.00 / 0.01(总预算 / 人工单价 / LLM 单价),通常推荐"人工 + LLM"。 - 把 LLM 单价调高(例如
100)再新建任务,可以测试"纯人工"分支。 - 执行过程与结果都会自动播放,最后给出估计值、置信区间与真实标签的对照。