Studi Kasus Deteksi Wajah Offline RK3588 dan Penyerahan Android SDK

Ringkasan kasus

Proyek ini ditujukan untuk kacamata pintar RK3588 Android. Wajah depan, profil kiri, dan profil kanan dideteksi secara lokal tanpa layanan pengenalan cloud. SDK menerima frame Camera2 atau gambar lokal dan menghasilkan kotak wajah, lima landmark, orientasi, yaw, confidence, ID pelacakan jangka pendek, dan waktu proses. Penyerahan mencakup Core AAR, Face AAR, Camera2 Demo, dan dokumen integrasi.

Cakupan proyek adalah deteksi wajah dan estimasi arah pose, bukan identifikasi orang. Nama atau ID karyawan, basis data wajah, verifikasi 1:1, pencarian 1:N, liveness, serta analisis usia, gender, dan emosi tidak termasuk.

Latar belakang

Perangkat target adalah kacamata pintar RK3588 Android arm64-v8a. Pelanggan perlu menemukan orang pada pratinjau kamera untuk pemilihan dengan sentuhan, pembesaran lokal, dan interaksi bisnis berikutnya. Pemrosesan harus berjalan offline pada perangkat dan dapat diintegrasikan ke aplikasi Android yang ada.

Input mencakup Camera2 YUV_420_888, NV21, RGBA_8888, dan gambar diam lokal. Implementasi juga menangani perbedaan laju kamera dan inferensi, umur buffer, rotasi, mirror, YUV stride, dan pemetaan koordinat model ke pratinjau.

Cakupan penyerahan

Pendekatan teknis

Alur: Camera2 atau gambar diam → pengolahan format dan orientasi → deteksi OpenCV YuNet → analisis geometri lima landmark → klasifikasi depan/kiri/kanan → pelacakan singkat → callback hasil dan overlay UI.

Baseline menggunakan OpenCV 4.10.0 dan detektor YuNet CPU. Jalur real-time memakai input 320×320, sedangkan gambar diam standar memakai 640×640. Tiga arah berbagi satu detektor dan satu API SDK; arah diperkirakan dari geometri landmark.

Demo mengirim satu permintaan setiap 100 ms, sekitar sepuluh per detik. Setiap instance SDK hanya menahan satu permintaan asinkron yang belum selesai. DirectBuffer milik aplikasi menyimpan Y/U/V. Camera2 memakai acquireLatestImage() untuk melewati frame lama dan membatasi penumpukan latensi.

Akar masalah dan perbaikan

Beberapa gambar terdeteksi di desktop tetapi menghasilkan nol pada Android Demo. Perbandingan model, input, dan output seluler menemukan masalah pada pembacaan matriks hasil OpenCV Java.

FaceDetectorYN.detect() mengembalikan matriks satu kanal N×15. Kode Android lama tidak membaca seluruh 15 nilai per baris sehingga hasil valid dibuang saat pemeriksaan panjang. Perbaikan membaca baris lengkap berdasarkan jumlah kolom dan kanal, serta menambah rotasi, konversi warna, fallback untuk gambar lebar, dan pemeriksaan konsistensi AAR.

Regresi kemudian mencakup wajah depan, profil, tanpa wajah, gambar diam, dan jalur Camera2 untuk memisahkan masalah model, praproses, decoding, dan koordinat UI.

Verifikasi teknik

Data berikut berasal dari catatan penyerahan 2026-07-29 dan berlaku untuk Eye Algo Face SDK 0.4.5 fix5 pada RK3588 Android arm64-v8a. Bukti ini menunjukkan build, API, dan jalur singkat dapat berjalan; bukan klaim akurasi massal, stabilitas jangka panjang, atau kinerja produksi.

Sampel teknik mencakup wajah depan, profil kiri/kanan simetris, dan sampel negatif tanpa wajah. Regresi kecil ini hanya memverifikasi deteksi, arah, dan alur UI, bukan Precision, Recall, F1, atau akurasi per pose.

Hasil dan penggunaan

• Deteksi depan, kiri, dan kanan digabungkan dalam satu API Android SDK.
• Frame Camera2 dan gambar lokal memakai struktur hasil yang sama.
• Pemrosesan lokal mengurangi kebutuhan mengunggah video mentah dan tetap berjalan tanpa jaringan.
• Kotak dan landmark dapat mendukung pemilihan, pelacakan singkat, pembesaran, dan algoritme berikutnya.
• Paket berisi Demo, AAR, panduan integrasi, penelusuran masalah, dan daftar hash.

Skenario yang sesuai meliputi pemilihan orang pada kacamata pintar, adegan banyak orang, petunjuk arah wajah, gambar offline, dan persiapan crop wajah. Identitas, liveness, atau analisis perilaku lanjutan berada di luar penyerahan ini.

Batas penerimaan

Artefak saat ini untuk uji pelanggan dan integrasi teknik, bukan versi dengan tanda tangan produksi. Sebelum rilis diperlukan material signing pelanggan dan set penerimaan nyata yang dibekukan untuk memastikan aturan anotasi, Precision, Recall, F1, confusion matrix per pose, dan ambang yang diizinkan.

Profil ekstrem, oklusi, pantulan kuat, cahaya rendah, wajah kecil, dan pemotretan ulang layar masih dapat menyebabkan miss atau salah arah. Waktu satu gambar tidak boleh diekstrapolasi menjadi rata-rata, P95, frame rate stabil, atau kinerja jangka panjang. Uji ketahanan delapan jam yang belum selesai tidak dinyatakan lulus.

Pertanyaan umum

Apakah SDK membutuhkan jaringan?

Deteksi berjalan pada perangkat RK3588 Android dan tidak bergantung pada cloud. Koneksi aplikasi ditentukan oleh fungsi bisnis pelanggan.

Apakah identifikasi wajah termasuk?

Tidak. Cakupan hanya lokasi wajah, lima landmark, dan arah depan/kiri/kanan, tanpa nama, basis data, 1:1, atau 1:N.

Bagaimana integrasi ke aplikasi Android?

Core AAR dan Face AAR menyediakan API sinkron dan asinkron. Paket mencakup Camera2 Demo, aturan format input, umur buffer, kode contoh, dan panduan masalah.

Verifikasi RK3588 apa yang selesai?

Instalasi, startup, izin, sampel gambar diam, dan jalur Camera2 10 detik telah diuji. Akurasi formal, signing produksi, dan stabilitas delapan jam adalah item penerimaan terpisah.

Bisakah langsung digunakan di perangkat RK3588 lain?

API dan metode integrasi dapat digunakan kembali, tetapi kamera, versi Android, orientasi, stride, memori, suhu, dan beban berbeda. Build, fungsi, kinerja, dan stabilitas harus diuji ulang.

Layanan terkait

• Pengembangan kecerdasan buatan
• Pengembangan computer vision
• Pengembangan perangkat lunak
• Desain dan manufaktur produk