本科生2026秋-大语言模型与智能理解-实验4

课程名称正在核实

课程名称正在核实。

结合机器人第一视角 RGB 图像、自然语言指令和当前任务进度,从六项候选技能中选出下一步。三人一组,完成基线、独立改进、同集对比与 Jetson 实车验证。

视觉语言对齐技能选择端侧部署

一、实验目标

结合第一视角图像、自然语言指令和任务进度,选择机器人当前应调用的技能。

目标说明
1. 跑通基线读取第一视角 RGB 图像、指令、任务进度和六项候选技能,为每道题输出一个合法的技能 ID。
2. 独立设计改进三人一组,从基线错例出发提出并实现一种改进,说明它如何结合图像、指令或任务进度。参考模板仅供参考,学生须独立设计并实现方案。
3. 完成对比与实车验证在相同条件下评测基线与改进方案,分析错例和推理开销,并在 jetson003 上验证端侧运行。
术语说明
Skill ID用途
search_target在限定区域搜索尚未定位的目标。
approach_target沿安全局部通道接近已定位目标,进入作业范围。
observe_target调整视角,改善对已定位目标的观测。
inspect_status检查目标状态并给出结论。
read_text读取指定门牌、标签或标识文字。
record_evidence采集并保存任务所需的证据。

二、流程解析

输入输出
机器人当前第一视角 RGB 图像(image)一个合法的 skill_id,例如 {"skill_id":"inspect_status"}。
局部任务自然语言指令(instruction)
六项候选技能及说明(candidate_skills)
任务状态与进度(task_state、task_progress),含当前阶段及已完成步骤
流程图
从样本输入到技能选择、验证集调试、测试集评测、实车验证与实验报告
实验四工作流程

下载实验指导书

三、数据资源

目标部署载体 jetson003

本地验证集

92 道题,附标准技能标签,用于运行基线、定位错例和复核改进方案。

下载验证集(含标签)

验证集示例图
工业仿真验证集画面
工业仿真
ObjChangeVR 仿真验证集画面
ObjChangeVR 仿真
Jetson 实车验证集画面
Jetson 实车

测试集

正式测试集共 80 题。学生使用无答案的测试输入生成预测,由教师在数据评测页提交并查看成绩。

来源验证集题数场景或用途
工业仿真40工厂巡检场景
ObjChangeVR 仿真40室内与室外虚拟场景
Jetson 实车12实体小车第一视角画面
合计92验证集含标签

四、验证评分

评分标准详情

评分项权重计分依据
Accuracy60%答对题数除以 92。漏答、格式错误或非法技能 ID 计错。
Macro-F140%计算六类技能各自的 F1 并取算术平均。漏答或非法预测计为真实类别的漏判。

成绩换算 测试得分 = 60 × Accuracy + 40 × Macro-F1,满分 100,两项指标均按 0 到 1 的小数代入。

在相同条件下比较基线与改进方案。推理时延和峰值内存随评测结果记录。

Macro-F1 计算方法

对六类技能分别计算 F1,再取等权平均。每类 F1 为 2 × TP ÷ (2 × TP + FP + FN)。分母为 0 时,该类 F1 取 0。