AI边缘计算
开发服务

可以先根据模型、输入、接口、精度、实时性、功耗、成本和产品形态形成候选平台矩阵。关键结论仍需使用目标板卡或等效硬件执行模型和端到端POC。

可以评估。需要提供模型、训练或导出环境、预处理和后处理、代表性样本、原始基准及目标平台。动态形状、自定义算子、插件和低比特量化可能需要专项适配。

可以按平台和模型评估。量化需要代表性校准数据，并在冻结的验收集上比较量化前后精度。是否采用由精度、时延、内存、功耗和算子支持的综合结果决定。

不能直接推导。理论算力的精度口径、稀疏性、算子支持、内存带宽、数据搬运、视频解码和前后处理都会影响端到端结果，应使用目标模型和真实输入实测选型。

可以根据模型参数、量化方式、上下文长度、内存、首token、token速度、视觉输入和功耗目标评估。需要区分演示可运行、业务可用和产品化稳定运行三个阶段。

可以先审查应用依赖、模型算子、精度、视频管线、硬件接口、操作系统和部署方式，再进行模型与应用迁移。迁移结果以目标板功能、精度、性能和稳定性回归为准。

正式测试前冻结硬件、软件、模型、输入、功耗模式、测试集和环境，分别验收算法指标、端到端延迟和吞吐、资源、功耗、温度、连续运行、异常恢复以及构建部署可复现性。