ما الخطوات المطلوبة لترحيل خوارزميات رؤية التجميع إلى وحدة NPU التصاعدية؟

المحتوى التقني

لا يعني ترحيل خوارزمية رؤية التجميع إلى Ascend NPU نسخ ملفات النموذج الأصلي إلى جهاز Atlas، ولكن استكمال تكييف النظام لتنسيق النموذج والمشغلين والإدخال والإخراج وواجهة وقت التشغيل ومعايير القبول. المسار النموذجي هو: إصلاح خط الأساس للنموذج الأصلي، وتصدير ONNX، والتحقق من بنية الرسم البياني والمشغلين، واستخدام ATC لإنشاء نموذج OM لمعالج Ascend المستهدف، والوصول إلى الاستدلال من خلال AscendCL، ثم إكمال التحقق من اتساق ما قبل وبعد المعالجة، ونتائج الكشف، وأداء التشغيل وتسليم الإصدار.

يتم تشغيل برنامج الفحص البصري للتجميع وتطبيقات الخوارزمية من Winge Technology بالفعل على Huawei Ascend Atlas 200I DK A2. بالنسبة للمشروعات التي تستخدم نماذج التصنيف أو اكتشاف الكائنات أو التجزئة، يمكن إضافة روابط استدلال نموذج Ascend NPU استنادًا إلى الوصول الحالي إلى الكاميرا وتكوين ROI وتسجيل النتائج والنشر المحلي.

ما المدخلات التي يجب إصلاحها قبل الترحيل؟

قبل بدء الترحيل، يجب تشكيل حزمة أساسية قابلة للتكرار، والتي تتضمن على الأقل:

إطار التدريب الأصلي، وهيكل النموذج، والأوزان ونصوص التصدير؛
اسم الإدخال وحجم الإدخال ونوع البيانات ومتطلبات الأبعاد الديناميكية لنماذج ONNX؛
ترتيب ألوان الصورة، وقياسها، وقصها، وتطبيعها، وأساليب ترتيب الموتر؛
تسميات التصنيف، وفك تشفير إطار الكشف، وعتبات الثقة، ونظام إدارة الشبكة (NMS) أو قواعد معالجة ما بعد التجزئة؛
مجموعة ثابتة من عينات OK وNG والحدود ونتائجها المتوقعة؛
جهاز Target Atlas وطراز المعالج Ascend ونظام التشغيل CANN وإصدار حزمة المشغل؛
مؤشرات قبول المشروع مثل الدقة والاكتشافات الفائتة والإنذارات الكاذبة والاستهلاك لمرة واحدة والإنتاجية والذاكرة.

إذا لم يتم إصلاح هذه المدخلات، حتى لو نجح تحويل النموذج، فلن يكون من الممكن تحديد ما إذا كان الفرق قبل وبعد الترحيل يأتي من بيئة النموذج أو المعالجة المسبقة أو المعالجة اللاحقة أو بيئة الإصدار.

الخطوة 1: إنشاء خط أساس لنتائج النموذج الأصلي

استخدم نفس مجموعة صور القبول لتشغيل النموذج الأصلي وحفظ موترات الإدخال والمخرجات الأصلية ونتائج ما بعد المعالجة وقرارات العمل النهائية. يجب أن يحفظ مشروع اكتشاف الأشياء أيضًا إطار الكشف والفئة والثقة ونتائج NMS؛ يجب أن يحفظ مشروع التجزئة حجم القناع ورسم خرائط الفئة ونتائج الكفاف.

لا يتمثل دور خط الأساس في إعطاء معدل دقة موحد، ولكن في توفير أساس مقارنة كل عينة على حدة لنتائج ONNX وOM اللاحقة. يجب تحديد مؤشرات المشروع بناءً على عينات العملاء وتعريفات العيوب وظروف محطة العمل.

الخطوة 2: تصدير نموذج ONNX وفحصه

بعد تصدير ONNX من إطار التدريب، عليك التحقق من:

هل أسماء عقدة الإدخال والإخراج مستقرة؟
ما إذا كان حجم الإدخال هو حجم ثابت أو حجم ديناميكي؛
ما إذا كان إصدار المشغل وبنية الرسم البياني يتوافقان مع بيئة التحويل المستهدفة؛
ما إذا كان سيتم تضمين العقد التي يتم استخدامها فقط أثناء مرحلة التدريب؛
ما إذا كانت نتائج تشغيل ONNX ونتائج النموذج الأصلي تقع ضمن نطاق الخطأ المتفق عليه.

في هذه الخطوة، يجب عليك أولاً حل مشكلة تصدير النموذج نفسه، ثم إدخال تحويل الجانب التصاعدي لتجنب جلب اختلافات الطراز المصدر إلى جانب الجهاز.

الخطوة 3: التحقق من توافق المشغل وبنية الرسم البياني

قبل تحويل ATC، يجب التحقق من عوامل التشغيل والسمات وأنواع البيانات وقيود الشكل التي يستخدمها النموذج. إذا كانت هناك عوامل تشغيل أو مجموعات غير مدعومة، فيمكنك اختيار إعادة كتابة الرسم البياني، أو استبدال عوامل التشغيل المكافئة، أو التقسيم والمعالجة اللاحقة، أو عوامل تشغيل مخصصة بناءً على بنية النموذج. يجب ألا تستخدم فقط "اكتمل تنفيذ أمر التحويل" كمعيار لإكمال التكيف.

بالنسبة للدفعة الديناميكية أو حجم الصورة الديناميكي أو الأبعاد الديناميكية، يجب تكوين التروس المقابلة وفقًا لمدخل محطة العمل الفعلية. يمكن لمحطات التجميع ذات الكاميرات الثابتة وأبعاد الكشف الثابتة عادةً استخدام الأشكال الثابتة أولاً لتقليل فروع وقت التشغيل وتسهيل القبول.

الخطوة 4: استخدم ATC لإنشاء نموذج OM

تنص وثائق Ascend الرسمية من Huawei على استخدام ATC لتحويل نماذج إطار العمل مفتوحة المصدر مثل ONNX إلى نماذج OM غير المتصلة بالإنترنت والتي يمكن التعرف عليها بواسطة معالج Ascend AI. هيكل الأوامر النموذجي هو كما يلي:

atc --model=model.onnx 
--الإطار=5 
--output=model_atlas 
--input_shape = "الصور: 1،3، ارتفاع، عرض" 
--soc_version=<طراز المعالج التصاعدي المستهدف>

يجب أن تكون المعلمات الفعلية متسقة مع مدخلات النموذج والمعالج المستهدف وبيئة المشروع. أثناء التحويل، يجب حفظ SHA-256 لأمر ATC وإصدار البيئة وسجل التحويل وتقرير الفحص والملف الذي تم إنشاؤه لتتبع عملية بناء نموذج OM وإعادة إنتاجها.

الخطوة 5: الاتصال برابط الاستدلال AscendCL

بعد إنشاء نموذج OM، يجب إكمال تهيئة الموارد واختيار الجهاز وتحميل النموذج وإدارة ذاكرة الإدخال والإخراج وتنفيذ النموذج وقراءة النتائج وإصدار المورد في التطبيق من جانب الجهاز. عادةً ما يكون مسار البيانات الكامل لنظام رؤية التجميع هو:

الكاميرا الصناعية أو ملفات الصور
-> فك التشفير والاقتصاص وفحص جودة الصورة
-> تغيير الحجم، تحويل الألوان، التطبيع وترتيب الموتر
-> استدلال نموذج OM
-> التصنيف أو إطار الكشف أو فك تشفير نتيجة التجزئة
-> ROI مع قواعد أعمال التجميع
-> PASS / FAIL / UNKNOWN
-> مخطط الأدلة وسجل النتائج وواجهة محطة العمل

تكون واجهة الاستدلال مسؤولة فقط عن حساب النموذج، ويتعامل التحديد النهائي لمحطة العمل أيضًا مع إلغاء البيانات المكررة، وجودة الصورة، وأدلة النتائج، والحالة غير الطبيعية، وواجهة PLC أو I/O وتتبع البيانات.

الخطوة 6: التحقق من اتساق المعالجة المسبقة والمعالجة اللاحقة

الاختلافات المشتركة في مشاريع الهجرة لا تأتي بالضرورة من النموذج نفسه. قد يؤدي ترتيب الألوان وطريقة الاستيفاء ومعامل التطبيع وطريقة التكميم وتخطيط الموتر وقياس الإحداثيات ومعلمات NMS إلى تغيير الإخراج.

ويوصى بالمقارنة وفقا للمستويات التالية:

طبقة الإدخال: قارن الموترات التي تدخل النموذج الأصلي ونموذج OM؛
طبقة الإخراج: مقارنة الشكل ونطاق القيمة وترتيب العقدة للمخرج الأصلي للنموذج؛
طبقة الخوارزمية: مقارنة الفئات ومربعات الكشف والأقنعة والثقة؛
طبقة الأعمال: قارن نتائج PASS أو FAIL أو UNKNOWN لكل عينة؛
طبقة الأدلة: قارن مواقع العيوب وخرائط التعليقات التوضيحية وسجلات النتائج لمعرفة ما إذا كانت تتوافق مع نفس قطعة العمل.

فقط من خلال تحديد الاختلافات طبقة تلو الأخرى يمكننا الحكم على ما إذا كان تحويل النموذج أو معالجة البيانات أو قواعد العمل بحاجة إلى التعديل.

الخطوة 7: أكمل التحقق من أداء الجهاز واستقراره

ينبغي إجراء اختبار الأداء على أجهزة أطلس المستهدفة وأحجام الصور الرسمية وروابط المعالجة الفعلية، مع التمييز بين:

الحصول على الصور أو وقت فك التشفير؛
وقت ما قبل المعالجة؛
وقت الاستدلال لنموذج واحد؛
وقت ما بعد المعالجة وقواعد العمل؛
صورة الأدلة ووقت كتابة ملف النتائج؛
وقت استجابة محطة العمل من النهاية إلى النهاية.

يجب أن تسجل نتائج الاختبار أيضًا إصدار النموذج وتجزئة ملف OM وإصدار CANN ونموذج المعالج وحجم الإدخال والدُفعة ووضع الدقة وعدد عمليات الإحماء وعدد العينات. يتم تأكيد الدقة ومدة دورة الإنتاج والاستقرار على المدى الطويل من خلال عمليات التفتيش المستقلة لمشاريع محددة وظروف التشغيل المستمرة.

الخطوة 8: قم بتكوين تسليم نسخة قابلة للدوران

يجب أن يحتوي التسليم الرسمي على الأقل على:

النموذج الأصلي أو ملفات مصدر النموذج ضمن النطاق المتفق عليه؛
نموذج ONNX وتعليمات التصدير؛
نموذج OM، أمر ATC، سجل التحويل وقيمة التحقق؛
المعالجة المسبقة والاستدلال والمعالجة اللاحقة ورمز واجهة الأعمال؛
نظام التشغيل، CANN، وحزمة المشغل وقائمة الإصدارات التابعة؛
عينة من نتائج التحقق وسجلات الفرق وتقارير اختبار الأداء؛
تعليمات التكوين وبدء الخدمة والتسجيل والترقية والنسخ الاحتياطي والتراجع.

يمكن لـ Winge Technology تنفيذ عمل ترحيل النموذج مع الكاميرات والبصريات وROI وI/O والواجهات وإمكانية تتبع النتائج والنشر المحلي، مما يجعل استنتاج النموذج جزءًا من نظام فحص التجميع الكامل بدلاً من عرض نموذج معزول.

ما هي القضايا التي من المرجح أن تؤثر على نتائج الترحيل؟

سؤال	الأعراض الشائعة	اتجاه المعالجة
تعريفات الإدخال غير متناسقة	التحول العام في النتائج أو مستوى الثقة غير الطبيعي	تم إصلاح اللون والحجم والتطبيع وتخطيط الموتر
المشغل أو الشكل غير متوافق	فشل تحويل ATC أو تغير هيكل الإخراج	إعادة كتابة الرسم البياني أو استبدال المشغل أو التروس الديناميكية أو المشغلين المخصصين
مرحلة ما بعد المعالجة غير متناسقة	يختلف عدد إطارات الكشف أو موقعها أو فئتها	فك التشفير الموحد، والعتبة، ونظام إدارة الشبكة (NMS)، واستعادة التنسيق
لم يتم إصلاح تركيبة الإصدار	نفس النموذج يعمل بشكل مختلف في بيئات مختلفة	النظام الثابت، CANN، حزمة المشغل وسجل بناء OM
فقط اختبار النموذج يستغرق وقتا	لا يزال الإيقاع المباشر لا يفي بالمتطلبات	الارتباط الكامل من الحصول على القياس إلى مخرجات النتيجة
عدم وجود مجموعة التحقق المستقلة	غير قادر على تحديد ما إذا كان الترحيل يحافظ على نتائج الأعمال	استخدم عينات OK وNG والحدود التي لا تشارك في ضبط المعلمات

الأسئلة الشائعة

هل يمكن تشغيل نماذج ONNX مباشرة على Ascend NPU؟

عادةً ما يكون من الضروري استخدام ATC لتحويل نموذج ONNX إلى نموذج OM غير متصل بالإنترنت استنادًا إلى معالج Ascend المستهدف وبيئة CANN، ثم تحميله وتنفيذه من خلال واجهات جانب الجهاز مثل AscendCL.

هل يعني التحويل لإنشاء ملفات OM أن الترحيل قد اكتمل؟

لا يساوي. ومن الضروري أيضًا إكمال إرساء المدخلات والمخرجات، واتساق ما قبل وبعد المعالجة، ومقارنة نتائج كل عينة على حدة، واختبار الأداء من جانب الجهاز، ومعالجة الاستثناءات، والتحقق من تسليم الإصدار.

هل يجب تغيير جميع قواعد الرؤية التقليدية إلى الشبكات العصبية؟

لا حاجة. يمكن الاستمرار في الاحتفاظ بقواعد ROI ذات المواضع الثابتة والحدود الواضحة؛ يتم استخدام نماذج التصنيف أو اكتشاف الكائنات أو التجزئة للتعامل مع تغييرات الفئات والخلفيات المعقدة ومهام التعرف على الدلالات، ويمكن دمج الاثنين في نفس تطبيق أطلس.

هل يمكن استخدام نفس طراز OM مباشرة لجميع أجهزة Atlas؟

ترتبط معلمات تحويل نموذج OM بمعالج Ascend المستهدف وبيئة البرامج. عند تنفيذ المشروع، يجب تأكيد طراز المعالج وCANN وإصدار حزمة المشغل وفقًا للجهاز المستهدف، ويجب الاحتفاظ بسجلات البناء المقابلة.

كيف نحكم على ما إذا كانت النتائج قبل وبعد الهجرة متسقة؟

يجب استخدام العينات الثابتة لمقارنة موتر الإدخال، والمخرجات الأصلية للنموذج، ونتائج الخوارزمية، وطبقة الحكم النهائي للأعمال، ويجب أن يعتمد القبول على الخطأ والدقة وقواعد محطة العمل التي أكدها الطرفان. لا يمكنك فقط مقارنة عدد صغير من الصور التوضيحية.

المصادر الرسمية

Huawei Ascend: تم تحويل طراز ONNX إلى طراز OM

https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/81RC1beta1/quickstart/quickstart/quickstart_18_0010.html

Huawei Ascend: معلمات سطر أوامر ATC وقيود المشغل

https://www.hiascend.com/document/detail/en/canncommercial/850/devaids/atctool/atlasatc_16_0039.html

Huawei Ascend: بناء نموذج AscendCL وتطوير التطبيقات

https://www.hiascend.com/document/detail/zh/canncommercial/850/appdevg/acldevg/aclcppdevg_000027.html

تنتمي Atlas وAscend وCANN وAscendCL والأسماء ذات الصلة إلى أصحاب الحقوق. تشرح هذه المقالة طرق التكيف التي توفرها Winge Technology لمشاريع رؤية التجميع، ولا تعني أن أصحاب الحقوق المعنيين يشاركون في المشروع المحدد أو يؤيدونه. تخضع قدرات المعدات والأدوات لوثائق الإصدار الرسمية المقابلة، وتخضع نتائج المشروع للنموذج الفعلي والعينات والمعدات وشروط القبول.