Cần những bước nào để di chuyển các thuật toán thị giác lắp ráp sang NPU Ascend?-Kiểm tra thị giác Huawei Ascend Atlas-Winge Technology

Nội dung kỹ thuật

Di chuyển thuật toán thị giác lắp ráp sang Ascend NPU không có nghĩa là sao chép các tệp mô hình gốc sang thiết bị Atlas mà là hoàn thành việc điều chỉnh hệ thống về định dạng mô hình, toán tử, đầu vào và đầu ra, giao diện thời gian chạy và tiêu chí chấp nhận. Đường dẫn điển hình là: sửa đường cơ sở của mô hình ban đầu, xuất ONNX, kiểm tra cấu trúc và toán tử biểu đồ, sử dụng ATC để tạo mô hình OM cho bộ xử lý Ascend đích, truy cập suy luận thông qua AscendCL, sau đó hoàn tất xác minh tính nhất quán trước và sau xử lý, kết quả phát hiện, hiệu suất chạy và phân phối phiên bản.

Các ứng dụng thuật toán và phần mềm kiểm tra trực quan lắp ráp của Winge Technology đã chạy trên Huawei Ascend Atlas 200I DK A2. Đối với các dự án sử dụng mô hình phân loại, phát hiện đối tượng hoặc phân đoạn, các liên kết suy luận mô hình Ascend NPU có thể được thêm vào dựa trên quyền truy cập camera hiện có, cấu hình ROI, ghi kết quả và triển khai cục bộ.

Những đầu vào nào cần được sửa trước khi di chuyển?

Trước khi bắt đầu di chuyển, nên hình thành gói cơ sở có thể tái tạo, ít nhất bao gồm:

Khung đào tạo ban đầu, cấu trúc mô hình, trọng lượng và tập lệnh xuất;
Tên đầu vào, kích thước đầu vào, loại dữ liệu và yêu cầu kích thước động cho các mô hình ONNX;
Các phương pháp sắp xếp màu sắc, chia tỷ lệ, cắt xén, chuẩn hóa và sắp xếp tensor;
Nhãn phân loại, giải mã khung phát hiện, ngưỡng tin cậy, NMS hoặc quy tắc xử lý sau phân đoạn;
Một tập hợp cố định các mẫu OK, NG và ranh giới cũng như kết quả mong đợi của chúng;
Thiết bị Target Atlas, mẫu bộ xử lý Ascend, hệ điều hành, CANN và phiên bản gói vận hành;
Các chỉ số chấp nhận dự án như độ chính xác, phát hiện bị bỏ sót, cảnh báo sai, mức tiêu thụ một lần, thông lượng và bộ nhớ.

Nếu những đầu vào này không cố định thì ngay cả khi chuyển đổi mô hình thành công cũng sẽ không thể xác định được liệu sự khác biệt trước và sau khi di chuyển có phải đến từ môi trường mô hình, tiền xử lý, hậu xử lý hay phiên bản hay không.

Bước 1: Thiết lập đường cơ sở của kết quả mô hình ban đầu

Sử dụng cùng một bộ ảnh chấp nhận để chạy mô hình gốc và lưu các tensor đầu vào, đầu ra ban đầu, kết quả xử lý hậu kỳ và quyết định kinh doanh cuối cùng. Dự án phát hiện đối tượng cũng nên lưu khung phát hiện, danh mục, độ tin cậy và kết quả NMS; dự án phân đoạn sẽ lưu kích thước mặt nạ, ánh xạ danh mục và kết quả đường viền.

Vai trò của đường cơ sở không phải là đưa ra tỷ lệ chính xác thống nhất mà là cung cấp cơ sở so sánh từng mẫu cho các kết quả ONNX và OM tiếp theo. Các chỉ số dự án phải được xác định dựa trên mẫu của khách hàng, xác định lỗi và điều kiện trạm làm việc.

Bước 2: Xuất và kiểm tra mô hình ONNX

Sau khi xuất ONNX từ khung đào tạo, bạn cần kiểm tra:

Tên nút đầu vào và đầu ra có ổn định không?
Kích thước đầu vào là kích thước cố định hay kích thước động;
Phiên bản toán tử và cấu trúc biểu đồ có phù hợp với môi trường chuyển đổi mục tiêu hay không;
Có bao gồm các nút chỉ được sử dụng trong giai đoạn huấn luyện hay không;
Liệu kết quả chạy ONNX và kết quả mô hình ban đầu có nằm trong phạm vi lỗi đã thỏa thuận hay không.

Ở bước này, trước tiên bạn nên giải quyết vấn đề xuất của chính mô hình, sau đó nhập chuyển đổi bên Ascend để tránh đưa sự khác biệt của mô hình nguồn vào phía thiết bị.

Bước 3: Kiểm tra tính tương thích của toán tử và cấu trúc biểu đồ

Trước khi chuyển đổi ATC, cần kiểm tra các toán tử, thuộc tính, kiểu dữ liệu và các ràng buộc hình dạng được mô hình sử dụng. Nếu có các toán tử hoặc kết hợp không được hỗ trợ, bạn có thể chọn viết lại biểu đồ, thay thế toán tử tương đương, phân tách và xử lý hậu kỳ hoặc các toán tử tùy chỉnh dựa trên cấu trúc mô hình. Bạn không nên chỉ sử dụng "hoàn thành thực hiện lệnh chuyển đổi" làm tiêu chí hoàn thành thích ứng.

Đối với lô động, kích thước hình ảnh động hoặc kích thước động, các bánh răng tương ứng cần được cấu hình theo đầu vào thực tế của máy trạm. Các trạm lắp ráp có camera cố định và kích thước phát hiện cố định thường có thể sử dụng các hình dạng cố định trước để giảm thời gian chạy nhánh và tạo điều kiện chấp nhận.

Bước 4: Sử dụng ATC để tạo mô hình OM

Tài liệu chính thức về Ascend của Huawei nêu rõ rằng ATC được sử dụng để chuyển đổi các mô hình khung nguồn mở như ONNX thành các mô hình ngoại tuyến OM có thể được bộ xử lý Ascend AI nhận ra. Cấu trúc lệnh điển hình như sau:

atc --model=model.onnx 
--framework=5 
--output=model_atlas 
--input_shape="hình ảnh:1,3,H,W" 
--soc_version=<mô hình bộ xử lý Ascend đích>

Các tham số thực tế phải nhất quán với đầu vào mô hình, bộ xử lý đích và môi trường dự án. Trong quá trình chuyển đổi, SHA-256 của lệnh ATC, phiên bản môi trường, nhật ký chuyển đổi, báo cáo kiểm tra và tệp được tạo phải được lưu để theo dõi và tái tạo quy trình xây dựng mô hình OM.

Bước 5: Kết nối tới link suy luận AscendCL

Sau khi mô hình OM được tạo, việc khởi tạo tài nguyên, lựa chọn thiết bị, tải mô hình, quản lý bộ nhớ đầu vào và đầu ra, thực thi mô hình, đọc kết quả và giải phóng tài nguyên cần phải được hoàn thành trong ứng dụng phía thiết bị. Đường dẫn dữ liệu hoàn chỉnh cho hệ thống thị giác lắp ráp thường là:

Máy ảnh công nghiệp hoặc tập tin hình ảnh
-> Giải mã, cắt xén và kiểm tra chất lượng hình ảnh
-> thay đổi kích thước, chuyển đổi màu sắc, chuẩn hóa và sắp xếp tensor
-> Lý luận mô hình OM
-> Phân loại, khung phát hiện hoặc giải mã kết quả phân đoạn
-> ROI với các quy tắc kinh doanh lắp ráp
-> PASS / FAIL / UNKNOWN
-> Sơ đồ bằng chứng, ghi kết quả và giao diện máy trạm

Giao diện suy luận chỉ chịu trách nhiệm tính toán mô hình và việc xác định máy trạm cuối cùng cũng xử lý việc chống trùng lặp kích hoạt, chất lượng hình ảnh, bằng chứng kết quả, trạng thái bất thường, giao diện PLC hoặc I/O và truy tìm dữ liệu.

Bước 6: Xác minh tính nhất quán của tiền xử lý và hậu xử lý

Những khác biệt chung trong các dự án di chuyển không nhất thiết đến từ bản thân mô hình. Thứ tự màu, phương pháp nội suy, hệ số chuẩn hóa, phương pháp lượng tử hóa, bố cục tensor, tỷ lệ tọa độ và các tham số NMS có thể thay đổi đầu ra.

Nên so sánh theo các mức độ sau:

Lớp đầu vào: so sánh các tensor vào mô hình gốc và mô hình OM;
Lớp đầu ra: so sánh hình dạng, phạm vi giá trị và thứ tự nút của đầu ra ban đầu của mô hình;
Lớp thuật toán: so sánh danh mục, hộp phát hiện, mặt nạ và độ tin cậy;
Lớp nghiệp vụ: So sánh kết quả PASS, FAIL hoặc UNKNOWN của từng mẫu;
Lớp bằng chứng: So sánh các vị trí khuyết tật, bản đồ chú thích và bản ghi kết quả để xem liệu chúng có tương ứng với cùng một phôi hay không.

Chỉ bằng cách xác định vị trí của sự khác biệt theo từng lớp, chúng ta mới có thể đánh giá liệu có cần điều chỉnh chuyển đổi mô hình, xử lý dữ liệu hoặc quy tắc kinh doanh hay không.

Bước 7: Hoàn tất xác minh hiệu suất và độ ổn định của thiết bị

Kiểm tra hiệu suất phải được thực hiện trên các thiết bị Atlas mục tiêu, kích thước hình ảnh chính thức và liên kết xử lý thực tế, phân biệt giữa:

Thời gian thu thập hoặc giải mã hình ảnh;
Thời gian tiền xử lý;
Thời gian suy luận mô hình đơn;
Thời gian xử lý hậu kỳ và quy định nghiệp vụ;
hình ảnh chứng cứ và thời gian ghi hồ sơ kết quả;
Thời gian phản hồi của máy trạm từ đầu đến cuối.

Kết quả kiểm tra cũng phải ghi lại phiên bản mô hình, hàm băm tệp OM, phiên bản CANN, kiểu bộ xử lý, kích thước đầu vào, lô, chế độ chính xác, số lần khởi động và số lượng mẫu. Độ chính xác, thời gian chu kỳ sản xuất và độ ổn định lâu dài được khẳng định bằng việc kiểm tra độc lập các dự án cụ thể và điều kiện hoạt động liên tục.

Bước 8: Hình thành bản phân phối phiên bản có thể cuộn

Việc giao hàng chính thức phải có ít nhất:

Mô hình gốc hoặc tệp nguồn mô hình trong phạm vi đã thỏa thuận;
Hướng dẫn xuất và mô hình ONNX;
Mô hình OM, lệnh ATC, nhật ký chuyển đổi và giá trị kiểm tra;
Mã tiền xử lý, suy luận, xử lý hậu kỳ và mã giao diện nghiệp vụ;
Hệ điều hành, CANN, gói vận hành và danh sách phiên bản phụ thuộc;
Kết quả xác minh mẫu, hồ sơ chênh lệch và báo cáo kiểm tra hiệu suất;
Hướng dẫn cấu hình, khởi động dịch vụ, ghi nhật ký, nâng cấp, sao lưu và khôi phục.

Winge Technology có thể triển khai công việc di chuyển mô hình cùng với máy ảnh, quang học, ROI, I/O, giao diện, truy xuất nguồn gốc kết quả và triển khai cục bộ, biến suy luận mô hình trở thành một phần của hệ thống kiểm tra lắp ráp hoàn chỉnh thay vì trình diễn mô hình riêng biệt.

Những vấn đề nào có khả năng ảnh hưởng nhất đến kết quả di chuyển?

câu hỏi	Triệu chứng thường gặp	hướng xử lý
Định nghĩa đầu vào không nhất quán	Sự thay đổi tổng thể về kết quả hoặc mức độ tin cậy bất thường	Đã sửa lỗi màu sắc, kích thước, chuẩn hóa và bố cục tensor
Toán tử hoặc hình dạng không tương thích	Chuyển đổi ATC không thành công hoặc thay đổi cấu trúc đầu ra	Viết lại đồ thị, thay thế toán tử, bánh răng động hoặc toán tử tùy chỉnh
Xử lý hậu kỳ không nhất quán	Số lượng, vị trí hoặc chủng loại khung phát hiện khác nhau	Giải mã thống nhất, ngưỡng, NMS và khôi phục tọa độ
Sự kết hợp phiên bản không cố định	Cùng một mô hình hoạt động khác nhau trong các môi trường khác nhau	Đã sửa lỗi hệ thống, CANN, gói vận hành và bản ghi xây dựng OM
Chỉ thử nghiệm mô hình mới mất thời gian	Beat live vẫn chưa đạt yêu cầu	Liên kết hoàn chỉnh từ việc thu thập phép đo đến kết quả đầu ra
Thiếu bộ sưu tập xác nhận độc lập	Không thể xác định liệu việc di chuyển có duy trì kết quả kinh doanh hay không	Sử dụng các mẫu OK, NG và ranh giới không liên quan đến việc điều chỉnh tham số

Câu hỏi thường gặp

Các mô hình ONNX có thể chạy trực tiếp trên Ascend NPU không?

Thông thường cần phải sử dụng ATC để chuyển đổi mô hình ONNX thành mô hình ngoại tuyến OM dựa trên bộ xử lý Ascend đích và môi trường CANN, sau đó tải và thực thi nó thông qua các giao diện phía thiết bị như AscendCL.

Việc chuyển đổi để tạo tệp OM có nghĩa là quá trình di chuyển đã hoàn tất phải không?

Không bằng. Cũng cần phải hoàn thành việc kết nối đầu vào và đầu ra, tính nhất quán trước và sau xử lý, so sánh kết quả giữa từng mẫu, kiểm tra hiệu suất phía thiết bị, xử lý ngoại lệ và xác minh phân phối phiên bản.

Có phải tất cả các quy tắc thị giác truyền thống đều phải được thay đổi thành mạng lưới thần kinh không?

Không cần. Các quy tắc ROI với vị trí cố định và ranh giới rõ ràng có thể tiếp tục được giữ lại; các mô hình phân loại, phát hiện đối tượng hoặc phân đoạn được sử dụng để xử lý các thay đổi về danh mục, nền tảng phức tạp và các tác vụ nhận dạng ngữ nghĩa và cả hai có thể được kết hợp trong cùng một ứng dụng Atlas.

Có thể sử dụng trực tiếp cùng một mô hình OM cho tất cả các thiết bị Atlas không?

Các tham số chuyển đổi mô hình OM có liên quan đến bộ xử lý Ascend và môi trường phần mềm đích. Khi triển khai dự án, mẫu bộ xử lý, CANN và phiên bản gói vận hành phải được xác nhận theo thiết bị đích và phải lưu giữ các bản ghi bản dựng tương ứng.

Làm thế nào để đánh giá xem kết quả trước và sau khi di chuyển có nhất quán hay không?

Nên sử dụng các mẫu cố định để so sánh tenxơ đầu vào, đầu ra ban đầu của mô hình, kết quả thuật toán và phán đoán kinh doanh cuối cùng theo từng lớp và việc chấp nhận phải dựa trên lỗi, độ chính xác và quy tắc máy trạm được cả hai bên xác nhận. Bạn không thể chỉ so sánh một số ít hình ảnh trình diễn.

nguồn chính thức

Huawei Ascend: Mô hình ONNX được chuyển đổi sang mô hình OM

https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/81RC1beta1/quickstart/quickstart/quickstart_18_0010.html

Huawei Ascend: Các tham số dòng lệnh ATC và các ràng buộc của nhà điều hành

https://www.hiascend.com/document/detail/en/canncommercial/850/devaids/atctool/atlasatc_16_0039.html

Huawei Ascend: Xây dựng mô hình AscendCL và phát triển ứng dụng

https://www.hiascend.com/document/detail/zh/canncommercial/850/appdevg/acldevg/aclcppdevg_000027.html

Atlas, Ascend, CANN, AscendCL và các tên liên quan thuộc về chủ sở hữu quyền của chúng. Bài viết này giải thích các phương pháp thích ứng do Winge Technology cung cấp cho các dự án tầm nhìn lắp ráp và không có nghĩa là chủ sở hữu quyền liên quan tham gia hoặc xác nhận dự án cụ thể. Khả năng của thiết bị và công cụ phải tuân theo các tài liệu phiên bản chính thức tương ứng và kết quả của dự án phải tuân theo mô hình, mẫu, thiết bị và điều kiện nghiệm thu thực tế.