本专题服务重点
模型转换、低比特量化、算子适配与板端精度回归
评估、开发和验收围绕该任务组织；涉及相邻模型、系统、硬件或量产工作时，按对应专题边界组合实施。
SERVICE BOUNDARY
模型部署不是只生成一个引擎文件
工程范围同时覆盖输入尺寸、动态形状、颜色空间、归一化、NMS或解码、量化校准、算子回退、内存规划和版本归档。
项目实施边界
- 量化是否采用由精度、时延、内存和平台支持共同决定
- 模型转换成功不等于业务准确率通过
- 第三方模型、权重和数据的使用授权由提供方确认
ENGINEERING SCOPE
工程服务范围
各项服务可按项目单独实施，也可与相关专题组合；任务书将逐项明确输入、输出、第三方依赖、样机和测试责任。
训练侧基线复现
锁定模型、依赖、输入输出、随机性、预后处理和原始指标。
- 环境清单
- 模型哈希
- 基准样本
转换与图优化
处理导出、中间格式、静态或动态形状、常量折叠和平台图优化。
- 转换脚本
- 算子清单
- 警告与回退
量化与校准
准备代表性校准集，比较不同精度模式下的模型和业务指标。
- 校准口径
- 逐层定位
- 精度决策
板端集成与回归
接入目标Runtime、内存和输入管线，记录端到端结果。
- 运行配置
- 资源记录
- 版本归档
DELIVERY PROCESS
实施路径
先确认项目基线和关键前置条件，再进入详细开发与验证；各阶段结论均对应具体版本与记录。
复现原始模型
确认训练侧结果和样本输出可复现。
转换与静态检查
导出目标格式并检查算子、形状和数值。
量化与问题定位
按校准集和验收集比较精度差异。
目标板部署
接入Runtime、前后处理和业务接口。
冻结交付
归档脚本、模型、配置、日志、指标和限制。
DELIVERABLES
交付内容
最终交付范围由双方在任务书或合同中确认，文件均对应具体硬件、软件、工具链和测试版本。
- 模型与依赖基线
- 导出和转换脚本
- 量化配置与校准说明
- 目标平台模型或引擎
- 板端推理示例与接口说明
- 精度、性能和限制报告
ACCEPTANCE
验收条件
环境适应性、可靠性、认证和批量生产如需纳入验收，应在任务书中另行约定范围、样本与标准。
- 原始模型和目标模型版本可追溯
- 预处理与后处理在PC和板端一致
- 量化前后使用同一冻结测试集
- 不支持算子和回退路径有明确记录
- 板端内存、时延和吞吐按约定口径测量
- 构建命令和部署步骤可以在约定环境复现
PROJECT INPUT
项目评估需要的输入
资料暂不完整时，可先开展基线检查和可行性评估；正式范围与技术结论在关键输入确认后形成。
- 01模型文件及权重
- 02训练或导出环境
- 03输入输出张量说明
- 04预处理与后处理代码
- 05校准集和验收集
- 06目标芯片、板卡、系统和SDK
通常需要先按目标Runtime支持情况导出ONNX或其他中间格式，再处理算子、形状、量化和前后处理。
不能预设。实际结果取决于硬件精度单元、算子实现、内存搬运和回退路径，需要在目标板测试。
不适合直接概括。模型结构、平台支持、校准方法和业务容差会影响结果，需要单独评估。
可以先评估已有模型和推理链，但复现、修改算子和定位精度差异的范围可能受限。
需在冻结验收集上比较项目约定指标，同时检查关键类别、边界样本和实际业务输出。
只有目标Runtime、算子、精度模式和硬件兼容时才可能复用；更换平台后仍需重新转换与回归。
PROJECT INTAKE
先提供基线资料，再形成范围与验收条件
提交目标、现有资料、版本、问题、样机条件和必须达到的指标，可先进行资料审查或可行性评估。
在线咨询
电话咨询
微信咨询
回到顶部