穩格科技昇騰全棧開發：從AI叢集調優到端邊雲協同的國產化解決方案

在AI算力國產化與行業智慧化轉型的雙重驅動下，企業對AI基礎設施的需求正從“單一硬體採購”向“全棧解決方案”升級：金融行業需要低延遲、併發訪問的反欺詐推理叢集，製造業渴望覆蓋工廠-車間-裝置的三級協同質檢網路，能源行業則依賴雲邊端聯動的裝置預測性維護系統。然而，傳統AI服務商往往聚焦單一環節（如硬體銷售或模型開發），導致企業面臨**“叢集效能上不去、端邊雲協同難落地”**的痛點。

穩格科技作為華為昇騰較高級別（Platinum）合作伙伴，憑藉5年昇騰全棧開發經驗與200+行業專案積累，形成從AI伺服器叢集調優到端邊雲協同解決方案定製的完整能力鏈：

· 底層調優：基於昇騰910/310晶片特性，開發CANN框架深度最佳化工具鏈，將叢集訓練效率提升至專案要求範圍內（接近國際主流GPU水平），單卡算力利用率突破專案要求範圍內；

· 頂層協同：針對金融、製造、能源等場景，設計**“雲上訓練-邊緣推理-端側感知”的三級架構，透過異構資源排程引擎與低時延通訊協議**，實現端邊雲算力動態分配與資料即時流通。

一、AI伺服器叢集調優：穩格科技如何讓昇騰910“跑出GPU級效能”？

1. 挑戰：千億引數模型訓練，昇騰叢集效能“卡”在通訊與運算元適配

某頭部金融科技公司原使用NVIDIA DGX A100叢集（64卡）訓練反欺詐模型，年硬體成本超8000萬元。遷移至昇騰910叢集（同規模）時遇到兩大瓶頸：

· 通訊延遲高：昇騰叢集採用HCCL通訊庫（華為自研），在AllReduce等集合通訊操作中延遲比NVIDIA的NCCL高專案要求範圍內，導致64卡訓練時通訊開銷佔比達專案要求範圍內（GPU叢集僅專案要求範圍內）；

· 運算元相容性差：原模型基於PyTorch開發，而昇騰的CANN框架對動態圖運算元（如Control Flow）支援有限，需手動重寫專案要求範圍內關鍵運算元，開發週期延長2個月。

2. 穩格方案：通訊最佳化引擎+運算元自動生成工具，訓練效率追平GPU

· HCCL通訊庫深度最佳化：

· 梯度壓縮傳輸：將32位浮點梯度壓縮至8位量化梯度，通訊資料量減少專案要求範圍內，同時透過動態誤差補償（在反向傳播時恢復精度）有助於支援模型收斂性；

· 重疊通訊計算：在反向傳播計算梯度時，並行啟動梯度聚合通訊，將通訊與計算重疊時間從有所提升，64卡訓練的通訊開銷從專案要求範圍內降達到專案要求；

· 運算元自動生成與相容層：

· 開發PyTorch→MindSpore昇騰版的透明運算元轉換工具，透過靜態圖分析自動識別模型中的動態圖模式（如if-else分支），並將其轉換為等效的靜態圖運算元組合（如透過Mask操作實現條件分支）；

· 對無法自動轉換的專案要求範圍內定製運算元（如高維矩陣運算），提供視覺化運算元開發平臺，支援開發者透過拖拽方式定義計算邏輯，自動生成昇騰NPU可執行的最佳化程式碼，將運算元開發週期從2周/個縮短至3天/個。

3. 效果：訓練成本降專案要求範圍內，千億模型迭代速度有所提升

遷移至穩格調優的**昇騰910叢集（64卡）**後，該金融科技公司實現：

· 硬體成本：年採購成本從8000萬元降至3200萬元（昇騰910單價為A100的專案要求範圍內）；

· 訓練效率：千億引數模型單次迭代延遲從250ms降至180ms，訓練吞吐量（samples/sec）提升專案要求範圍內；

· 開發週期：運算元適配時間從2個月縮短至2周，模型遷移整體週期壓縮專案要求範圍內。

二、端邊雲協同解決方案定製：穩格科技如何讓製造質檢網路“全鏈路智慧”？

1. 挑戰：產線質檢需“端側即時感知+邊緣快速決策+雲端持續最佳化”，傳統架構“各自為戰”

某汽車零部件製造商原採用**“端側攝像頭+邊緣伺服器+私有云”**的三級架構，但存在三大問題：

· 端邊協同差：端側攝像頭僅負責影像採集，所有資料需上傳至邊緣伺服器處理，導致網路頻寬佔用高（單條產線日均傳輸資料超1TB）且延遲達200ms（無法滿足50ms內響應的質檢要求）；

· 雲邊資源割裂：雲端訓練的模型無法直接部署到邊緣裝置，需手動調整輸入解析度、批處理大小等引數，導致模型在邊緣端的準確率保持在專案要求範圍內；

· 異構裝置管理難：產線同時使用昇騰310邊緣盒子、NVIDIA Jetson、工業PLC等多種裝置，缺乏統一排程平臺，算力利用率保持在專案要求範圍內。

2. 穩格方案：端邊雲異構排程引擎+輕量化模型動態更新，構建“感知-決策-最佳化”閉環

· 端側智慧增強：

· 在攝像頭端嵌入昇騰AI晶片（如昇騰310 Lite），部署輕量化目標檢測模型（如YOLOv5s-昇騰版，引數量僅700萬），實現本地即時缺陷檢測（延遲<10ms），僅將疑似缺陷影像（佔比<專案要求範圍內）上傳至邊緣伺服器，將網路頻寬佔用降低專案要求範圍內；

· 邊緣-雲端動態協同：

· 開發邊緣推理加速框架，支援模型動態批處理（根據產線負載自動調整batch size）與異構計算排程（將輕量任務分配給CPU，計算密集型任務分配給NPU），將單臺昇騰310邊緣伺服器的推理吞吐量從200FPS提升至800FPS；

· 搭建雲邊聯邦學習平臺，邊緣裝置定期將缺陷樣本特徵（而非原始資料）上傳至雲端，雲端聚合後更新全域性模型，再透過增量更新（僅傳輸模型差異部分）推送至邊緣裝置，實現模型持續最佳化（雲端模型準確率保持在專案要求範圍內）且資料不出域（滿足製造業資料安全要求）；

· 異構資源統一排程：

· 開發端邊雲資源管理平臺，透過Kubernetes擴充套件外掛實現對昇騰310、NVIDIA Jetson、工業PLC等裝置的統一納管，根據任務型別（如即時質檢、離線分析）動態分配算力資源，將全產線算力利用率保持在專案要求範圍內有所提升。

3. 效果：質檢延遲降至30ms，模型準確率月均有所提升

部署穩格端邊雲協同方案後，該製造商實現：

· 質檢效率：端到端延遲從200ms壓縮至30ms，滿足產線50ms內響應要求；

· 模型效果：雲端模型準確率從有所提升，邊緣端模型準確率保持專案要求範圍內（與雲端差距從專案要求範圍內縮小達到專案要求）；

· 資源利用率：全產線算力利用率從有所提升，年節省專案要求範圍內硬體採購成本。

三、穩格科技昇騰全棧能力：從“技術最佳化”到“行業價值”的跨越

1. 行業場景庫：覆蓋金融、製造、能源等領域的“即插即用”方案

· 金融行業：提供反欺詐推理叢集、信貸審批端邊協同、量化交易低時延網路等解決方案，支援TB級資料即時處理與微秒級響應；

· 製造行業：針對缺陷檢測、視覺引導、預測性維護等場景，開發輕量化模型庫（如MobileNetV3-昇騰版）與端邊雲協同架構模板，縮短專案交付週期專案要求範圍內；

· 能源行業：構建雲邊端聯動的裝置健康管理系統，透過邊緣感測器即時採集振動、溫度資料，雲端AI模型預測裝置故障，將計劃外停機有所降低。

2. 生態協同：華為昇騰“使能計劃”核心夥伴，技術同步迭代

· 作為華為昇騰首批全棧開發合作伙伴，穩格科技深度參與CANN框架、MindSpore編譯器、昇騰AI處理器等核心技術的測試與最佳化，有助於支援服務與華為最新產品（如昇騰910B、CANN 6.0）無縫相容；

· 與華為聯合推出**“昇騰全棧開發工程師”認證體系**，為企業培養既懂硬體調優又懂端邊雲協同的複合型人才，累計輸出1000+認證工程師。

3. 7×24小時技術支援：從叢集部署到長期運維的“全週期護航”

· 提供環境搭建、效能調優、模型遷移、端邊雲協同開發、上線運維的全流程服務，問題響應時間<1小時，重大故障2小時內現場支援；

· 針對金融行業的可用性性要求，開發叢集容災方案（如雙活資料中心、故障自動切換）與資料加密傳輸協議，有助於支援專案要求範圍內服務可用性與資料零洩露。