一、实验目标
根据自然语言指令和一次室内 RGB-D 观测找到指定目标,并计算它相对于机器人的三维位置和距离。
| 目标 | 说明 |
|---|---|
| 1. 按指令查找目标 | 结合类别、外观、文字或空间关系匹配目标实例,报告歧义或未检出。 |
| 2. 计算三维位置与距离 | 结合目标区域、有效深度和相机参数,在机器人机体坐标系中估计目标位置与距离。 |
| 3. 改进并验证 | 从基线失败案例中选择一个查找或定位难点,提出改进,并通过对比和消融实验验证效果。 |
术语说明
| 术语 | 说明 |
|---|---|
| RGB-D 观测 | 一组对齐的 RGB 彩色图像和深度图。 |
| 相机内参与外参 | 内参用于把像素和深度反投影为相机坐标系中的三维点。相机到机体的外参用于将三维点转换到机器人机体坐标系。 |
| 机器人机体坐标系 | 前方为 x、左方为 y、上方为 z。位置和距离均以米为单位。 |
| 目标代表位置 | 用目标可见表面的有效三维点估计代表位置,无需估计物体几何中心或完整六自由度姿态。 |
二、流程解析
| 输入 | 输出 |
|---|---|
| 一条自然语言指令 | 目标识别与候选匹配结果 |
| 一组对齐的 RGB 图像和深度图 | 歧义、未检出或定位失败状态 |
| 相机内参与相机到机体的外参 | 机体坐标系中的代表位置 (x, y, z) |
| 目标相对距离(米) |
目标已识别但深度不足时,应保留识别结果并明确说明定位失败。单次观测未检出目标时,不应据此认定整个场景不存在目标。在线评测接入时,学生服务接收自然语言指令与 RGB 图像,返回识别状态及单目标掩码;平台负责读取深度、相机参数并统一计算三维位置。课程报告仍需说明完整定位流程与改进方法。
流程图
输入指令与场景图像学生服务读取自然语言指令和 RGB 图像。
查找并匹配目标根据类别、属性和空间关系筛选候选,返回识别状态与单目标掩码。
读取目标区域的有效深度平台结合掩码、对齐深度图和相机内参,将有效像素反投影为相机坐标系中的三维点。
转换到机器人机体坐标系使用相机到机体的外参,计算目标代表位置及相对距离。
输出定位结果返回识别状态、机体坐标系下的位置 (x, y, z) 和相对距离(米)。
目标歧义或未检出时,返回对应识别状态。目标已识别但有效深度不足时,保留识别结果并标记定位失败。
三、数据资源
本系统目标部署载体:jetson003
本地验证集
公开验证集覆盖 15 个室内场景,共 65 条英文指令,用于本地验证定位流程和分析失败案例。
| 数据项 | 内容 |
|---|---|
| 图像与指令 | 对齐的 RGB 图像、米制深度图及对应的英文目标查找指令。 |
| 定位资料 | 相机内参、相机到机体的外参及参考标注,用于计算和核对三维位置。 |
验证集示例图(点击图片放大)
正在加载场景图片…
在线测试集
在线补充测试集共 108 条指令,用于评测语言表达变化和同图目标切换。
| 分组 | 指令数量 | 评测内容 |
|---|---|---|
| A 组 | 65 条 | 同一目标换一种表达,检查能否找到并定位同一目标。 |
| B 组 | 43 条 | 同一场景图切换到另一个已有目标,检查能否按新指令定位。 |
四、验证评分
评分标准详情
| 评分项 | 计分依据 |
|---|---|
| 三维定位成功率 | 目标位置的 XYZ 欧氏误差不超过当前阈值,计为成功。综合分为成功样本数 ÷ 全部样本数 × 100。 |
| 未通过条件 | 未检出、无效深度和超时计为未通过。掩码和边界框用于分析,定位分按三维位置计算。 |

