一、实验目标
结合第一视角图像、自然语言指令和任务进度,选择机器人当前应调用的技能。
| 目标 | 说明 |
|---|---|
| 1. 跑通基线 | 读取第一视角 RGB 图像、指令、任务进度和六项候选技能,为每道题输出一个合法的技能 ID。 |
| 2. 独立设计改进 | 三人一组,从基线错例出发提出并实现一种改进,说明它如何结合图像、指令或任务进度。参考模板仅供参考,学生须独立设计并实现方案。 |
| 3. 完成对比与实车验证 | 在相同条件下评测基线与改进方案,分析错例和推理开销,并在 jetson003 上验证端侧运行。 |
术语说明
| Skill ID | 用途 |
|---|---|
search_target | 在限定区域搜索尚未定位的目标。 |
approach_target | 沿安全局部通道接近已定位目标,进入作业范围。 |
observe_target | 调整视角,改善对已定位目标的观测。 |
inspect_status | 检查目标状态并给出结论。 |
read_text | 读取指定门牌、标签或标识文字。 |
record_evidence | 采集并保存任务所需的证据。 |
二、流程解析
| 输入 | 输出 |
|---|---|
机器人当前第一视角 RGB 图像(image) | 一个合法的 skill_id,例如 {"skill_id":"inspect_status"}。 |
局部任务自然语言指令(instruction) | |
六项候选技能及说明(candidate_skills) | |
任务状态与进度(task_state、task_progress),含当前阶段及已完成步骤 |
三、数据资源
目标部署载体 jetson003
本地验证集
92 道题,附标准技能标签,用于运行基线、定位错例和复核改进方案。
验证集示例图



测试集
正式测试集共 80 题。学生使用无答案的测试输入生成预测,由教师在数据评测页提交并查看成绩。
| 来源 | 验证集题数 | 场景或用途 |
|---|---|---|
| 工业仿真 | 40 | 工厂巡检场景 |
| ObjChangeVR 仿真 | 40 | 室内与室外虚拟场景 |
| Jetson 实车 | 12 | 实体小车第一视角画面 |
| 合计 | 92 | 验证集含标签 |
四、验证评分
评分标准详情
| 评分项 | 权重 | 计分依据 |
|---|---|---|
| Accuracy | 60% | 答对题数除以 92。漏答、格式错误或非法技能 ID 计错。 |
| Macro-F1 | 40% | 计算六类技能各自的 F1 并取算术平均。漏答或非法预测计为真实类别的漏判。 |
成绩换算 测试得分 = 60 × Accuracy + 40 × Macro-F1,满分 100,两项指标均按 0 到 1 的小数代入。
在相同条件下比较基线与改进方案。推理时延和峰值内存随评测结果记录。
Macro-F1 计算方法
对六类技能分别计算 F1,再取等权平均。每类 F1 为 2 × TP ÷ (2 × TP + FP + FN)。分母为 0 时,该类 F1 取 0。


