RK3588 Çevrimdışı yüz tanıma ve Android-SDK: Teslimat vaka çalışması

Özet

Proje RK3588-Android veri gözlüklerini ilgilendiriyor. Ön, sol ve sağ profiller bulut algılama hizmeti olmadan cihaz üzerinde yerel olarak algılanır. SDK, Camera2 video karelerini veya yerel görüntüleri işler ve yüz çerçeveleri, beş yer işareti, yönlendirme, sapma, güven, kısa süreli izleme kimliği ve işlem süresi sağlar. Core AAR, Face AAR, Camera2 demosu ve entegrasyon belgeleri teslim edildi.

Kapsam, kişinin kimliğinin belirlenmesi değil, bakış yönünün tespit edilmesi ve tahmin edilmesi anlamında yüz tanımadır. İsimler, personel numaraları, yüz veritabanı, 1:1 doğrulama, 1:N arama, canlılık tespiti ve yaş, cinsiyet veya duygu analizi dahil değildir.

Proje bağlamı

Hedef platform bir çift RK3588-Android veri gözlüğüydü arm64-v8a. Dokunma seçimi, kırpma yakınlaştırma ve diğer iş işlemleri için kişilerin kamera ön izlemesinde bulunması gerekir. İşlemenin cihazda çevrimdışı çalışması ve mevcut Android uygulamasına entegre edilebilmesi gerekiyordu.

Desteklenen girişler Kamera2'dir YUV_420_888, NV21, RGBA_8888 ve yerel hareketsiz görüntüler. Ayrıca farklı kamera ve çıkarım oranları, görüntü arabelleklerinin ömrü, döndürme, yansıtma, YUV adımı ve model koordinatlarının önizlemeye eşlenmesi dikkate alınmıştır.

Teslimat kapsamı

Teknik çözüm

İşleme zinciri: Kamera2 veya hareketsiz görüntü → format ve yönlendirme işleme → OpenCV YuNet algılama → beş yer işaretinin geometrik analizi → önden /links/rechts → kısa süreli izleme → sonuç geri çağırma ve kullanıcı arayüzü katmanı.

Teslimat tabanı OpenCV 4.10.0 ve YuNet CPU dedektörünü kullanır. Gerçek zamanlı veriler açık 320×320, varsayılan olarak hareketsiz görüntüler 640×640 ölçekli. Her üç yön de aynı dedektörü ve aynı SDK arayüzünü kullanır; yön, yer işaretlerinin geometrisinden tahmin edilir.

Demo her 100 ms'de bir, yaklaşık saniyede on tane olmak üzere bir algılama isteği gönderir. SDK örnek başına en fazla bir eşzamansız istek açık kalır. Uygulama tarafındaki DirectBuffer'lar Y, U ve V verilerini tutar. Kamera2'nin kullanım alanları acquireLatestImage()eski kareleri atlamak ve gecikmeyi sınırlamak için.

Hatanın nedeni ve düzeltilmesi

Bazı görüntüler masaüstünde tanındı ancak Android demosunda sıfır sonuç verdi. Model, giriş ve mobil çıkışın karşılaştırılması OpenCV Java sonuç matrisinin değerlendirilmesine yol açtı.

FaceDetectorYN.detect() tek kanallı bir matris sağlar N×15. Orijinal Android kodu bir satırın 15 değerinin tamamını okumadığından uzunluk kontrolünde geçerli sonuçlar göz ardı edildi. Düzeltici, sütun ve kanal sayısına göre her satırı tamamen okur. Döndürme, renk dönüşümü, geniş görüntüler için bir geri dönüş ve AAR tutarlılık kontrolleri eklendi.

Regresyon, model, ön işleme, kod çözücü ve koordinat hatalarını ayırmak için ön, profil ve negatif görüntülerin yanı sıra durağan görüntülere ve Camera2 zincirine genişletildi.

Teknik doğrulama

Aşağıdaki veriler 29 Temmuz 2026 tarihli teslimat günlüğünden alınmıştır ve Eye Algo Face SDK için geçerlidir. 0.4.5 fix5 RK3588 Android'ye kadar arm64-v8a. Belirtilen yapıyı, arayüzleri ve kısa vadede kanıtlıyorlar ancak seri doğruluğunu, uzun vadeli kararlılığı veya üretim performansını kanıtlamıyorlar.

Teknik örnek seti ön görüntüleri, simetrik sol/sağ profilleri ve yüzü olmayan negatif görüntüleri içerir. Tespit, yön değeri ve kullanıcı arayüzü zincirini kontrol eder ancak hassasiyet, geri çağırma, F1 veya poz başına doğruluk için bir temel oluşturmaz.

Sonuç ve çaba

• Ön, sol ve sağ profiller Android-SDK arayüzünde birleştirildi.
• Camera2 kareleri ve yerel görüntüler aynı sonuç formatını kullanır.
• Yerel işleme, ham videoyu bir buluta aktarma ihtiyacını azaltır ve ağ olmadan çalışır.
• Yüz çerçeveleri ve yer işaretleri seçimi, kısa süreli izlemeyi, büyütmeyi ve aşağı yönlü algoritmaları destekler.
• Pakette demo, AAR'lar, entegrasyon kılavuzu, hata analizi ve karma listesi bulunur.

Tipik uygulamalar arasında akıllı gözlüklerde kişi seçimi, çok kişilik sahneler, yön gösterimi, çevrimdışı görüntüler ve yüz kesimlerinin hazırlanması yer alıyor. Alt kimlik, canlılık veya davranış analizi teslimat kapsamına dahil değildir.

Kabul sınırları

Mevcut durum, müşteri testi ve teknik entegrasyon için kullanılır ve verimli bir şekilde imzalanmaz. Yayınlanmadan önce, müşteri anahtarları ve ek açıklama kuralları, hassasiyet, geri çağırma, F1, poz başına karışıklık matrisi ve izin verilen eşiklerle birlikte tanımlanmış bir gerçek satın alma miktarı gereklidir.

Aşırı profiller, kapanma, güçlü yansıma, düşük ışık, küçük yüzler ve ekran görüntüleri yine de atlamalara veya yön hatalarına neden olabilir. Tek bir ölçüm ortalama, P95, sabit kare hızı veya uzun vadeli performans olarak yorumlanmamalıdır. Tamamlanmayan sekiz saatlik test başarılı olarak raporlanmaz.

Sık sorulan sorular

SDK ağ bağlantısı gerektiriyor mu?

Algılama, RK3588-Android cihazında yerel olarak çalışır. Ağ bağlantısı yalnızca müşteri uygulamasının diğer işlevlerine bağlıdır.

Kişisel tanımlama dahil mi?

Hayır. Yüz konumu, beş yer işareti ve ön yön (isim değil, yüz veritabanı, 1:1 veya 1:K) dahildir.

Entegrasyon nasıl gerçekleşiyor?

Core AAR ve Face AAR, senkron ve asenkron API'ler sunar. Camera2 demosu, giriş formatları, arabellek kuralları, örnek kod ve hata notları dahildir.

Hangi RK3588 denetimler tamamlandı?

Kurulum, başlatma, izinler, hareketsiz görüntü örnekleri ve on saniyelik Camera2 zinciri kontrol edildi. Biçimsel doğruluk, üretim imzası ve sekiz saatlik stabilite ayrı kabul noktaları olmaya devam ediyor.

SDK başka bir RK3588 cihazda değişmeden çalışabilir mi?

Arayüz ve entegrasyon yöntemi yeniden kullanılabilir. Ancak kamera, Android sürümü, yön, adım, bellek, sıcaklık ve yük, yeni yapı, işlevsellik, performans ve stabilite kontrolleri gerektirir.

İlgili Hizmetler

• Yapay zeka geliştirme
• Bilgisayarla görme geliştirme
• Yazılım geliştirme
• Ürün tasarımı ve imalatı