RK3588 การจดจำใบหน้าแบบออฟไลน์และ Android-SDK: กรณีศึกษาการจัดส่ง

สรุป

โครงการนี้เกี่ยวข้องกับแว่นตาข้อมูล RK3588-Android ตรวจพบโปรไฟล์ด้านหน้า ซ้ายและขวาภายในอุปกรณ์ โดยไม่มีบริการตรวจจับคลาวด์ SDK ประมวลผลเฟรมวิดีโอ Camera2 หรือภาพในเครื่อง และจัดเตรียมกรอบใบหน้า จุดสังเกต 5 จุด การวางแนว การหันเห ความมั่นใจ ID ติดตามระยะสั้น และเวลาประมวลผล มีการส่งมอบ Core AAR, Face AAR, การสาธิต Camera2 และเอกสารบูรณาการ

ขอบเขตคือการจดจำใบหน้าในแง่ของการตรวจจับและประมาณทิศทางของการจ้องมอง ไม่ใช่การระบุตัวบุคคล ไม่รวมชื่อ หมายเลขบุคลากร ฐานข้อมูลใบหน้า การตรวจสอบ 1:1 การค้นหา 1:N การตรวจจับความมีชีวิตชีวาและอายุ การวิเคราะห์เพศหรืออารมณ์

บริบทของโครงการ

แพลตฟอร์มเป้าหมายคือคู่ของแว่นตาข้อมูล RK3588-Android arm64-v8a. ผู้คนควรอยู่ในหน้าตัวอย่างกล้องเพื่อเลือกการแตะ การซูมครอบตัด และการดำเนินธุรกิจอื่นๆ การประมวลผลต้องทำงานแบบออฟไลน์บนอุปกรณ์และสามารถรวมเข้ากับแอป Android ที่มีอยู่ได้

อินพุตที่รองรับคือ Camera2 YUV_420_888, NV21, RGBA_8888 และภาพนิ่งในท้องถิ่น นอกจากนี้ กล้องที่แตกต่างกันและอัตราการอนุมาน อายุการใช้งานของบัฟเฟอร์ภาพ การหมุน การมิเรอร์ การก้าวย่างของ YUV และการแมปพิกัดของโมเดลในการดูตัวอย่าง ได้ถูกนำมาพิจารณาด้วย

ขอบเขตของการจัดส่ง

โซลูชันทางเทคนิค

ห่วงโซ่การประมวลผล: กล้อง2 หรือภาพนิ่ง → การประมวลผลรูปแบบและการวางแนว → OpenCV การตรวจจับ YuNet → การวิเคราะห์ทางเรขาคณิตของจุดสังเกตห้าจุด → หน้าผาก/links/rechts → การติดตามระยะสั้น → การเรียกกลับผลลัพธ์และการซ้อนทับ UI

ฐานการนำส่งใช้ OpenCV 4.10.0 และตัวตรวจจับ YuNet CPU ข้อมูลเรียลไทม์เปิดอยู่ 320×320, ภาพนิ่งตามค่าเริ่มต้น 640×640 ปรับขนาด ทั้งสามทิศทางใช้ตัวตรวจจับเดียวกันและอินเทอร์เฟซ SDK เดียวกัน ทิศทางจะประมาณจากรูปทรงเรขาคณิตของจุดสังเกต

การสาธิตจะส่งคำขอการตรวจจับทุกๆ 100 มิลลิวินาที ประมาณสิบครั้งต่อวินาที คำขอแบบอะซิงโครนัสส่วนใหญ่ยังคงเปิดอยู่ต่อ SDK อินสแตนซ์ DirectBuffers ฝั่งแอปพลิเคชันเก็บข้อมูล Y, U และ V การใช้งาน Camera2 acquireLatestImage()เพื่อข้ามเฟรมเก่าและจำกัดเวลาแฝง

สาเหตุของข้อผิดพลาดและการแก้ไข

ภาพบางภาพได้รับการยอมรับบนเดสก์ท็อป แต่ไม่ได้ให้ผลลัพธ์เป็นศูนย์ในการสาธิต Android การเปรียบเทียบโมเดล อินพุต และเอาต์พุตแบบเคลื่อนที่นำไปสู่การประเมินเมทริกซ์ผลลัพธ์ OpenCV Java

FaceDetectorYN.detect() ให้เมทริกซ์ช่องทางเดียว N×15. รหัส Android ดั้งเดิมไม่ได้อ่านค่าทั้ง 15 ค่าในแถว ดังนั้นผลลัพธ์ที่ถูกต้องจึงถูกยกเลิกในการตรวจสอบความยาว ผู้พิสูจน์อักษรจะอ่านแต่ละบรรทัดโดยสมบูรณ์ตามจำนวนคอลัมน์และช่อง เพิ่มการหมุน การแปลงสี ทางเลือกสำหรับรูปภาพแบบกว้าง และการตรวจสอบความสอดคล้องของ AAR

การถดถอยได้รับการขยายไปยังรูปภาพด้านหน้า โปรไฟล์ และเนกาทีฟ รวมถึงภาพนิ่งและสายโซ่ Camera2 เพื่อแยกข้อผิดพลาดของโมเดล การประมวลผลล่วงหน้า ตัวถอดรหัส และประสานงาน

การตรวจสอบทางเทคนิค

ข้อมูลต่อไปนี้มาจากบันทึกการจัดส่งลงวันที่ 29 กรกฎาคม 2026 และใช้กับ Eye Algo Face SDK 0.4.5 fix5 ถึง RK3588 Android arm64-v8a. โดยจะพิสูจน์โครงสร้างที่ระบุ อินเทอร์เฟซ และการดำเนินการระยะสั้น แต่ไม่ใช่ความแม่นยำของซีรีส์ ความเสถียรในระยะยาว หรือประสิทธิภาพการผลิต

ชุดตัวอย่างทางเทคนิคประกอบด้วยภาพด้านหน้า โปรไฟล์ซ้าย/ขวาแบบสมมาตร และภาพเนกาทีฟที่ไม่มีใบหน้า จะตรวจสอบการตรวจจับ ค่าทิศทาง และห่วงโซ่ UI แต่ไม่ใช่พื้นฐานสำหรับความแม่นยำ การเรียกคืน F1 หรือความแม่นยำต่อท่า

ผลลัพธ์และความพยายาม

• โปรไฟล์ด้านหน้า ซ้ายและขวาถูกผสานเข้ากับอินเทอร์เฟซ Android-SDK
• เฟรม Camera2 และรูปภาพในเครื่องใช้รูปแบบผลลัพธ์เดียวกัน
• การประมวลผลในเครื่องช่วยลดความจำเป็นในการถ่ายโอนวิดีโอ Raw ไปยังระบบคลาวด์และทำงานโดยไม่มีเครือข่าย
• กรอบใบหน้าและจุดสังเกตรองรับการเลือก การติดตามระยะสั้น การขยาย และอัลกอริธึมดาวน์สตรีม
• แพ็คเกจประกอบด้วยการสาธิต, AAR, คู่มือการบูรณาการ, การวิเคราะห์ข้อผิดพลาด และรายการแฮช

การใช้งานทั่วไป ได้แก่ การเลือกบุคคลในแว่นตาอัจฉริยะ ฉากที่มีหลายคน การแสดงทิศทาง รูปภาพออฟไลน์ และการเตรียมการตัดใบหน้า การวิเคราะห์เอกลักษณ์ ความมีชีวิตชีวา หรือพฤติกรรมขั้นปลายน้ำไม่รวมอยู่ในขอบเขตของการจัดส่ง

ขีดจำกัดการยอมรับ

สถานะปัจจุบันใช้สำหรับการทดสอบของลูกค้าและการบูรณาการทางเทคนิค และไม่ได้ลงนามอย่างมีประสิทธิผล ก่อนที่จะเผยแพร่ จำเป็นต้องมีรหัสลูกค้าและปริมาณการซื้อจริงที่กำหนดไว้พร้อมกฎคำอธิบายประกอบ ความแม่นยำ การเรียกคืน F1 เมทริกซ์ความสับสนต่อท่าทาง และเกณฑ์ที่อนุญาต

โปรไฟล์ที่รุนแรง การบดบัง การสะท้อนแสงจ้า แสงน้อย ใบหน้าเล็ก และการจับภาพหน้าจอยังคงส่งผลให้เกิดการละเว้นหรือข้อผิดพลาดในทิศทางได้ การวัดครั้งเดียวไม่ควรตีความว่าเป็นค่าเฉลี่ย, P95, อัตราเฟรมที่เสถียร หรือประสิทธิภาพในระยะยาว การทดสอบแปดชั่วโมงที่ยังไม่เสร็จสิ้นจะไม่ถูกรายงานว่าผ่าน

คำถามที่พบบ่อย

SDK จำเป็นต้องมีการเชื่อมต่อเครือข่ายหรือไม่

การตรวจจับจะทำงานภายในเครื่องบนอุปกรณ์ RK3588-Android การเชื่อมต่อเครือข่ายจะขึ้นอยู่กับฟังก์ชันอื่นๆ ของแอปของลูกค้าเท่านั้น

มีการระบุตัวตนส่วนบุคคลรวมอยู่ด้วยหรือไม่?

ไม่ใช่ รวมไปถึงตำแหน่งใบหน้า จุดสังเกต 5 จุด และทิศทางด้านหน้า/ซ้าย/ขวา ไม่ใช่ชื่อ ฐานข้อมูลใบหน้า 1:1 หรือ 1:N

การบูรณาการเกิดขึ้นได้อย่างไร?

Core AAR และ Face AAR นำเสนอซิงโครนัสและอะซิงโครนัส API มีการสาธิต Camera2 รูปแบบอินพุต กฎบัฟเฟอร์ โค้ดตัวอย่าง และบันทึกข้อผิดพลาด

การตรวจสอบ RK3588 ใดที่เสร็จสิ้นแล้ว

มีการตรวจสอบการติดตั้ง การเริ่มต้น การอนุญาต ตัวอย่างภาพนิ่ง และห่วงโซ่ Camera2 สิบวินาที ความแม่นยำอย่างเป็นทางการ ลายเซ็นการผลิต และความเสถียรแปดชั่วโมงยังคงเป็นจุดยอมรับที่แยกจากกัน

SDK สามารถทำงานโดยไม่มีการเปลี่ยนแปลงบนอุปกรณ์ RK3588 อื่นได้หรือไม่

อินเทอร์เฟซและวิธีการรวมสามารถนำมาใช้ซ้ำได้ อย่างไรก็ตาม กล้อง เวอร์ชัน Android การวางแนว การก้าวย่าง หน่วยความจำ อุณหภูมิ และโหลด จำเป็นต้องมีการตรวจสอบโครงสร้าง การทำงาน ประสิทธิภาพ และความเสถียรใหม่

บริการที่เกี่ยวข้อง

• การพัฒนาเอไอ
• การพัฒนาวิสัยทัศน์คอมพิวเตอร์
• การพัฒนาซอฟต์แวร์
• การออกแบบและการผลิตผลิตภัณฑ์