课程名称正在核实

课程名称正在核实。

根据一条自然语言指令和单次室内场景 RGB-D 观测,找到对应目标实例,并输出目标在机器人机体坐标系中的代表位置与距离。

自然语言理解视觉目标查找RGB-D三维定位模型适配

一、实验目标

根据自然语言指令和一次室内 RGB-D 观测找到指定目标,并计算它相对于机器人的三维位置和距离。

目标说明
1. 按指令查找目标结合类别、外观、文字或空间关系匹配目标实例,报告歧义或未检出。
2. 计算三维位置与距离结合目标区域、有效深度和相机参数,在机器人机体坐标系中估计目标位置与距离。
3. 改进并验证从基线失败案例中选择一个查找或定位难点,提出改进,并通过对比和消融实验验证效果。
术语说明
术语说明
RGB-D 观测一组对齐的 RGB 彩色图像和深度图。
相机内参与外参内参用于把像素和深度反投影为相机坐标系中的三维点。相机到机体的外参用于将三维点转换到机器人机体坐标系。
机器人机体坐标系前方为 x、左方为 y、上方为 z。位置和距离均以米为单位。
目标代表位置用目标可见表面的有效三维点估计代表位置,无需估计物体几何中心或完整六自由度姿态。

二、流程解析

输入输出
一条自然语言指令目标识别与候选匹配结果
一组对齐的 RGB 图像和深度图歧义、未检出或定位失败状态
相机内参与相机到机体的外参机体坐标系中的代表位置 (x, y, z)
目标相对距离(米)

目标已识别但深度不足时,应保留识别结果并明确说明定位失败。单次观测未检出目标时,不应据此认定整个场景不存在目标。在线评测接入时,学生服务接收自然语言指令与 RGB 图像,返回识别状态及单目标掩码;平台负责读取深度、相机参数并统一计算三维位置。课程报告仍需说明完整定位流程与改进方法。

流程图
输入指令与场景图像学生服务读取自然语言指令和 RGB 图像。
查找并匹配目标根据类别、属性和空间关系筛选候选,返回识别状态与单目标掩码。
读取目标区域的有效深度平台结合掩码、对齐深度图和相机内参,将有效像素反投影为相机坐标系中的三维点。
转换到机器人机体坐标系使用相机到机体的外参,计算目标代表位置及相对距离。
输出定位结果返回识别状态、机体坐标系下的位置 (x, y, z) 和相对距离(米)。

目标歧义或未检出时,返回对应识别状态。目标已识别但有效深度不足时,保留识别结果并标记定位失败。

四、验证评分

评分标准详情

评分项计分依据
三维定位成功率目标位置的 XYZ 欧氏误差不超过当前阈值,计为成功。综合分为成功样本数 ÷ 全部样本数 × 100。
未通过条件未检出、无效深度和超时计为未通过。掩码和边界框用于分析,定位分按三维位置计算。