AI邊緣計算
開發服務

可以先根據模型、輸入、介面、精度、實時性、功耗、成本和產品形態形成候選平臺矩陣。關鍵結論仍需使用目標板卡或等效硬體執行模型和端到端POC。

可以評估。需要提供模型、訓練或匯出環境、預處理和後處理、代表性樣本、原始基準及目標平臺。動態形狀、自定義運算元、外掛和低位元量化可能需要專項適配。

可以按平臺和模型評估。量化需要代表性校準資料，並在凍結的驗收集上比較量化前後精度。是否採用由精度、時延、記憶體、功耗和運算元支援的綜合結果決定。

不能直接推導。理論算力的精度口徑、稀疏性、運算元支援、記憶體頻寬、資料搬運、影片解碼和前後處理都會影響端到端結果，應使用目標模型和真實輸入實測選型。

可以根據模型引數、量化方式、上下文長度、記憶體、首token、token速度、視覺輸入和功耗目標評估。需要區分演示可執行、業務可用和產品化穩定執行三個階段。

可以先審查應用依賴、模型運算元、精度、影片管線、硬體介面、作業系統和部署方式，再進行模型與應用遷移。遷移結果以目標板功能、精度、效能和穩定性迴歸為準。

正式測試前凍結硬體、軟體、模型、輸入、功耗模式、測試集和環境，分別驗收演算法指標、端到端延遲和吞吐、資源、功耗、溫度、連續執行、異常恢復以及構建部署可復現性。