一、实验目标
自主设计专家和混合专家(MoE)路由系统,先在平台测试中验证单张图片的异常判断,再在 Jetson Orin Nano 8GB 上完成离线实体巡检。
| 目标 | 要求 |
|---|---|
| 设计专家 | 设计或选用2—4个有效专家,说明各专家的作用、实现方式与分工;模型架构自主选择,专家不一定需要训练,涉及训练时说明所用数据。 |
| 专家规模限制 | 每个自定义专家参数量不超过 1B(10亿);超过限制的提交不予评测。 |
| 设计 MoE 路由 | 自行实现基于图片的MoE路由,在2—4个专家之间进行选择,并形成最终的0/1判断;说明路由依据与专家协作方式。 |
| 完成二分类 | 每次输入一张 RGB 图片,只输出整数 0 或 1:0=正常,1=异常。 |
术语说明
| 术语 | 说明 |
|---|---|
| RGB图片 | 由红、绿、蓝三个颜色通道组成的彩色图片,是本题程序的输入。 |
| 专家 | 承担特定判断任务的处理模块,可以采用规则、算法或模型,不一定需要训练;各专家应有明确作用和分工。 |
| 混合专家(MoE) | 将多个专家与路由机制组合成一个系统,根据输入决定由哪些专家参与,形成最终判断。 |
| 路由 | 选择参与本次判断的专家,并确定如何使用其结果;可以只选择一个专家,也可以按需要组合多个专家的结果。 |
| 参数量与1B | 参数量是模型中参数的数量,不等于文件大小;1B表示10亿个参数。本题每个自定义专家的参数量上限为1B。 |
| 二分类 | 在两个结果中选择一个。本题输出整数0表示正常,输出整数1表示异常。 |
| 整体响应时延 | 平台从开始交付一张图片到收到该次输出结果所记录的总耗时,不是某个内部模块的单独耗时。 |
实验报告与对照建议
建议比较单专家、固定专家组合与动态路由方案的正确率和整体时延,并在报告中分析差异。
单专家方案仅作为对照,最终提交的MoE方案仍应包含2—4个有效专家。需要平台测量各方案时,应分别提交对应版本,在相同题集与评测环境下测试,再在报告中比较。
平台自动评测只验证0/1判断的正确率和整个方案的响应时延,不能仅凭成绩确认专家数量或动态路由是否实现。专家数量、分工及路由实现需通过源码与实验报告检查。
二、流程解析
| 输入 | 学生实现 | 输出 |
|---|---|---|
| 一张 RGB 图片 | 学生自主设计的专家与MoE路由程序 | 0=正常;1=异常 |
流程图
示意流程,内部实现由学生自主设计。
三、数据资源
本系统目标部署载体:jetson003
本地验证集
| 场景 | 正常 | 异常 |
|---|---|---|
| 轮毂 | 12 | 12 |
| 杜邦线 | 12 | 12 |
| 线缆 | 2 | 4 |
| 瓶子 | 2 | 2 |
| 建筑破损 | 4 | 8 |
验证集示例图
轮毂 · 实拍


杜邦线 · 实拍


线缆 · MVTec AD


瓶子 · MVTec AD


建筑 · 人民医院


建筑 · 城市图书馆


测试集:119 张
正常 50 张、异常 69 张,由平台评测服务保管,不提供测试原图下载。
| 场景 | 正常 | 异常 |
|---|---|---|
| 轮毂 | 20 | 25 |
| 杜邦线 | 20 | 22 |
| 线缆 | 2 | 4 |
| 瓶子 | 2 | 2 |
| 建筑破损 | 6 | 16 |
四、验证评分
本节100分为平台图片测试成绩,不包含 Jetson Orin Nano 8GB 实体巡检验收。每张题图等权,按返回的整数0或1判断对错:0表示正常,1表示异常。验证集用于开发检查;测试集成绩仅在题集、评分规则和资源配置一致时比较。
| 评分项 | 分值 | 计算方法 |
|---|---|---|
| 正确率 | 70 | 正确率=答对题数÷总题数;正确率分=70 × 正确率。 |
| 整体响应时延 | 30 | 以全部题目的平均响应时延 t(毫秒)计算(暂定门槛):t≤1000,得30分;1000<t<5000,得30 × (5000−t) ÷ 4000分;t≥5000,得0分。 |
总分=正确率分+时延分,满分100分。例如100题答对90题,平均时延3000毫秒:正确率分63,时延分15,总分78。两项独立相加,因此全部答错但平均时延不超过1000毫秒时,总分仍为30分。
计分细则
计时范围:平台从开始交付当前图片到收到本次输出结果,在程序外部记录整体响应时延,包含平台输入输出接口开销。图片到结果之间的处理由学生自行实现。
模型加载和平台预热不计入时延,正式测试逐张计时。
逐题处理:返回合法整数0或1但判断错误,计答错并保留实际响应时延;缺失输出、非法输出、单张运行异常或超过10000毫秒,计答错并以10000毫秒计入平均时延。平均时延=全部题目的计入时延之和÷总题数。
整次失败:初始化失败或运行环境错误不产生有效成绩。
结果展示:答对题数、总题数、正确率、平均时延、P95、正确率分、时延分及总分。P95表示95%的题目计入时延不超过该值,仅作诊断,不参与计分。界面显示值可能经过四舍五入,计算使用未舍入数值。
本测试按异常判断正确率和整体响应时延计分;专家数量、规模和路由实现需结合源码及实验报告验收。
规则版本:binary-accuracy70-latency30-v2。题集数量与评测服务状态以数据评测工作区为准。

