RK3588 NPU模型部署开发

项目输入

• 原始模型、导出格式、推理代码与依赖，记录模型和权重版本。
• 输入张量形状、数据类型、通道顺序、缩放归一化、输出解释和后处理规则。
• 有代表性的校准样本、独立测试样本、参考输出与任务指标定义。
• 目标板、Android或Linux环境、内核驱动、工具与运行库版本，以及现有推理程序。

实施链路

先复现原始推理，确认输出含义，再评估转换与算子支持；需要量化时按样本分布准备校准数据，比较转换前后结果。板端集成还需处理输入内存、前后处理、异常返回及应用接口。RKNN-Toolkit2、RKNN Runtime与内核驱动在交付记录中分别标明版本，不能只写“支持RK3588”。

验证与验收

精度回归使用固定且独立的测试集，记录预处理、后处理和误差判据。时延测试注明输入尺寸、批量、预热次数、样本数、功耗模式及温度条件；区分纯推理时间与采集、拷贝、前后处理后的端到端时间。持续运行测试按具体设备和项目时长约定，不预填固定FPS或加速比例。

交付内容

可约定交付转换脚本、部署模型、板端程序或SDK、环境与版本清单、运行命令、对比结果和限制说明。模型训练、原始模型精度改进、摄像头接入和整机散热另列范围。

相关服务与证据边界

系统准备可关联Android适配或Linux BSP，评估前可使用系统资料清单。Android CPU算法案例不能作为NPU推理能力的验证依据；具体模型的可转换性和性能需在目标板上验证。

常见问题

模型能转换是否代表项目完成？还需验证板端输出、业务接口、端到端性能和异常路径。

是否可以直接承诺固定加速倍数？需要同一模型、输入、算法链路与测试条件下的对照数据。

技术参考

Rockchip RKNN-Toolkit2官方项目说明模型转换、运行接口及相关软件组件；具体支持范围按所选版本文档和模型实测核对。