บริการการพัฒนา NVIDIA Jetson Edge AI มีอะไรบ้าง: อธิบายโมดูลหลักและขอบเขต

เมื่อวางแผนโครงการ Edge AI บน NVIDIA Jetson การทำความเข้าใจว่าโมดูลการพัฒนาใดที่โดยทั่วไปจะรวมอยู่ และขอบเขตการบริการเริ่มต้นและสิ้นสุดที่ใด จะช่วยให้ทีมวิศวกรรมและทีมโครงการปรับความคาดหวังของตนได้ก่อนที่จะมีส่วนร่วม

ภาพรวมของบริการการพัฒนา NVIDIA Jetson Edge AI

ภาพรวมระดับสูงของบริการการพัฒนา Jetson Edge AI โดยทั่วไปครอบคลุมถึงอะไรบ้าง และวิธีการจัดโครงสร้างระหว่างฮาร์ดแวร์ ซอฟต์แวร์ และเลเยอร์การปรับใช้

NVIDIA Jetson Edge AI บริการการพัฒนาโดยทั่วไปประกอบด้วยสามระดับ: การประเมินและการเลือกฮาร์ดแวร์ การพัฒนาอัลกอริทึมและแอปพลิเคชัน และการบูรณาการระบบกับการปรับใช้ในสถานที่ แต่ละระดับจะเกี่ยวข้องกับการตัดสินใจทางเทคนิคที่เฉพาะเจาะจง เช่น: เช่น การเลือกโมดูล Jetson ที่เหมาะสมสำหรับปริมาณงานเป้าหมาย การเพิ่มประสิทธิภาพโมเดลสำหรับการอนุมาน Edge และรับประกันการทำงานที่เสถียรในสภาพแวดล้อมการปรับใช้

โดยทั่วไปขอบเขตของบริการเหล่านี้จะถูกกำหนดในระหว่างขั้นตอนการวิเคราะห์ความต้องการ ทีมงานจะชี้แจงว่าแหล่งข้อมูลใดที่ใช้ ความล่าช้าและเป้าหมายปริมาณงานใดที่ต้องทำให้สำเร็จ และระบบ Edge โต้ตอบกับโครงสร้างพื้นฐาน IT หรือ OT ที่มีอยู่อย่างไร คำจำกัดความที่ชัดเจนนี้ช่วยหลีกเลี่ยงการขยายขอบเขตและปรับแต่งผลลัพธ์ให้ตรงตามความต้องการในการปฏิบัติงาน

โมดูลหลักที่รวมอยู่ในการพัฒนา Jetson Edge AI

โมดูลบริการที่สำคัญที่สุดซึ่งโดยปกติจะเป็นส่วนหนึ่งของลำดับการพัฒนา NVIDIA Jetson Edge AI ที่มีโครงสร้าง

การประเมินฮาร์ดแวร์และการเลือกโมดูล: ในการประเมินข้อกำหนดด้านปริมาณงาน เช่น ปริมาณงานการอนุมาน งบประมาณด้านพลังงาน และข้อกำหนด I/O จะต้องแนะนำโมดูล Jetson ที่เหมาะสมสำหรับการสร้างต้นแบบหรือการใช้งานจริง
การเพิ่มประสิทธิภาพโมเดลและการปรับแต่งการอนุมานขอบ: แปลงและเพิ่มประสิทธิภาพโมเดล AI โดยใช้เครื่องมือ เช่น TensorRT เพื่อสร้างสมดุลความแม่นยำ เวลาแฝง และการใช้ทรัพยากรบนฮาร์ดแวร์ Jetson ที่เลือก โดยคำนึงถึงการกำหนดปริมาณและความเข้ากันได้ของผู้ปฏิบัติงาน
การพัฒนาแอปพลิเคชันและมิดเดิลแวร์: การสร้างเลเยอร์แอปพลิเคชันที่จัดการการนำเข้า การประมวลผลล่วงหน้า การวางแผนการอนุมาน และเอาต์พุตผลลัพธ์ของข้อมูลเซ็นเซอร์ พร้อมด้วยมิดเดิลแวร์สำหรับการสื่อสารกับระบบอัปสตรีมหรือแพลตฟอร์มคลาวด์
การรวมระบบและการปรับแต่งโปรโตคอล: การเชื่อมต่อระบบ Edge ที่ใช้ Jetson กับโปรโตคอลอุตสาหกรรม ฐานข้อมูล หรือแพลตฟอร์มการจัดการที่มีอยู่ เพื่อให้มั่นใจถึงความสอดคล้องของข้อมูลและการดำเนินงานที่เชื่อถือได้ภายในสถาปัตยกรรมระบบที่กว้างขึ้น
การตรวจสอบการปรับใช้และการทดสอบการยอมรับ: การตรวจสอบพฤติกรรมของระบบภายใต้สภาวะโลกแห่งความเป็นจริง รวมถึงประสิทธิภาพการระบายความร้อน ความเสถียรของเครือข่าย และความแม่นยำในการอนุมานในระยะยาว พร้อมเอกสารผลการทดสอบและเกณฑ์การยอมรับ

กระบวนการจัดส่งทั่วไปสำหรับโครงการ Jetson Edge AI

คำแนะนำทีละขั้นตอนเกี่ยวกับวิธีการดำเนินการบริการการพัฒนา Jetson Edge AI ตั้งแต่การวิเคราะห์เบื้องต้นไปจนถึงการส่งมอบขั้นสุดท้าย

ดำเนินการวิเคราะห์ความต้องการเพื่อกำหนดเป้าหมายปริมาณงาน แหล่งข้อมูล จุดบูรณาการ และข้อจำกัดของสภาพแวดล้อมในการปรับใช้
ดำเนินการประเมินฮาร์ดแวร์และเลือกโมดูล Jetson ที่เหมาะสมโดยอิงตามข้อกำหนดด้านการประมวลผล อุปกรณ์จัดเก็บข้อมูล พลังงาน และ I/O
ปรับโมเดล AI ให้เหมาะสมสำหรับการอนุมาน Edge รวมถึงการแปลงรูปแบบ การหาปริมาณ และการเปรียบเทียบประสิทธิภาพบนฮาร์ดแวร์เป้าหมาย
พัฒนาแอปพลิเคชันและเลเยอร์มิดเดิลแวร์ และใช้การนำเข้าข้อมูล ไปป์ไลน์การอนุมาน และอินเทอร์เฟซการรวม
รวมระบบ Edge เข้ากับโครงสร้างพื้นฐานที่มีอยู่ และดำเนินการแก้ไขจุดบกพร่องร่วมกับระบบต้นน้ำและปลายน้ำ
ดำเนินการตรวจสอบการใช้งานนอกสถานที่ รวบรวมข้อมูลประสิทธิภาพและความเสถียร และดำเนินการทดสอบการยอมรับพร้อมผลลัพธ์ที่บันทึกไว้

สถานการณ์การใช้งานทั่วไปสำหรับบริการ Jetson Edge AI

สถานการณ์ทั่วไปในอุตสาหกรรมที่มีการใช้บริการการพัฒนา NVIDIA Jetson edge AI แสดงให้เห็นถึงกรณีการใช้งานที่หลากหลาย

การทดสอบคุณภาพอุตสาหกรรม: การใช้โมดูล Jetson เพื่อดำเนินการตรวจจับข้อบกพร่องด้วยการมองเห็นบนสายการผลิตโดยตรง ช่วยลดความหน่วงและหลีกเลี่ยงการพึ่งพาการเชื่อมต่อระบบคลาวด์อย่างต่อเนื่อง
การวิเคราะห์การค้าปลีกอัจฉริยะ: ให้ Edge AI สำหรับการวิเคราะห์กระแสลูกค้าแบบเรียลไทม์ การตรวจสอบชั้นวางสินค้า หรือการสนับสนุนการชำระเงินด้วยตนเอง โดยรวบรวมข้อมูลในเครื่องก่อนการซิงโครไนซ์ตามปกติ
การจัดการอาคารอัจฉริยะ: เรียกใช้การตรวจจับการเข้าใช้ การเพิ่มประสิทธิภาพการใช้พลังงาน หรือโมเดลการตรวจสอบความปลอดภัยบนอุปกรณ์ Jetson ที่รวมเข้ากับระบบการจัดการอาคาร

ขีดจำกัดขอบเขตและสิ่งที่ไม่ได้รวมไว้ตามปกติ

ชี้แจงขอบเขตทั่วไปของบริการการพัฒนา Jetson edge AI เพื่อช่วยให้ทีมระบุสิ่งที่อาจต้องมีการวางแผนแยกกันหรือขอบเขตเพิ่มเติม

Jetson Edge AI บริการด้านการพัฒนามักมุ่งเน้นไปที่อุปกรณ์ Edge และบริบทการบูรณาการในทันที งานต่างๆ เช่น การสร้างแพลตฟอร์มคลาวด์ขนาดใหญ่ การออกแบบคลังข้อมูลทั่วทั้งองค์กร หรือไปป์ไลน์การฝึกอบรมโมเดลระยะยาว มักจะอยู่นอกขอบเขตหลัก และอาจต้องใช้โปรเจ็กต์เฉพาะหรือข้อตกลงการบริการแยกต่างหาก

ในทำนองเดียวกัน การจัดหาชุดข้อมูลการฝึกอบรมที่มีป้ายกำกับมักจะไม่รวมอยู่ด้วย เว้นแต่จะมีการตกลงไว้อย่างชัดแจ้ง โครงการมักสันนิษฐานว่าลูกค้าจะให้ข้อมูลตัวแทนหรือจะมีการตกลงกันในขั้นตอนการเตรียมข้อมูลที่แยกต่างหาก การชี้แจงขอบเขตเหล่านี้ตั้งแต่เนิ่นๆ จะช่วยหลีกเลี่ยงความเข้าใจผิดระหว่างการจัดส่ง

คำถามที่พบบ่อย
คำถาม: โดยทั่วไปแล้ว การฝึกอบรมโมเดล AI และการติดป้ายกำกับข้อมูลขนาดใหญ่จะรวมอยู่ในบริการการพัฒนา Jetson Edge AI หรือไม่
คำตอบ: โดยทั่วไปแล้ว บริการการพัฒนา Jetson Edge AI มุ่งเน้นไปที่การปรับโมเดลให้เหมาะสม การใช้งาน และการรวมระบบ มากกว่าการฝึกอบรมที่ครอบคลุมหรือการติดป้ายกำกับข้อมูล หากจำเป็นต้องมีการฝึกอบรมหรือการติดฉลาก โดยปกติจะถือว่าเป็นขั้นตอนหรือโครงการที่แยกจากกัน โดยมีข้อตกลงที่ชัดเจนเกี่ยวกับขอบเขตข้อมูลและความรับผิดชอบ

คำถาม: จะเลือกโมดูล Jetson ที่ถูกต้องระหว่างบริการการพัฒนาได้อย่างไร
คำตอบ: การเลือกโมดูลขึ้นอยู่กับการประเมินแบบมีโครงสร้างของข้อกำหนดปริมาณงาน รวมถึงปริมาณงานการอนุมาน การใช้หน่วยความจำ งบประมาณด้านพลังงาน และข้อกำหนด I/O จากนั้นโมดูลที่เลือกจะได้รับการตรวจสอบผ่านการวัดประสิทธิภาพเพื่อยืนยันว่าตรงตามวัตถุประสงค์ด้านประสิทธิภาพและความเสถียรที่กำหนดไว้ ก่อนที่จะพัฒนาแอปพลิเคชันเต็มรูปแบบต่อไป

คำถาม: จะเกิดอะไรขึ้นหากสภาพแวดล้อมการปรับใช้งานมีการเชื่อมต่อเครือข่ายที่จำกัด
คำตอบ: Jetson ระบบ Edge AI ได้รับการออกแบบมาเพื่อทำงานด้วยการอนุมานเฉพาะที่และการประมวลผลเฉพาะที่ ดังนั้นการเชื่อมต่อที่จำกัดจึงไม่ปิดกั้นฟังก์ชันการทำงานหลัก โดยทั่วไปบริการจะประกอบด้วยการกำหนดค่าสำหรับการทำงานแบบออฟไลน์ การจัดเก็บผลลัพธ์ในเครื่อง และการซิงโครไนซ์เป็นระยะเมื่อมีการเชื่อมต่อ เพื่อให้มั่นใจว่าการทำงานจะต่อเนื่องในสภาพแวดล้อมที่จำกัด