RK3588 Offline-Gesichtserkennung und Android-SDK: Lieferfallstudie

Zusammenfassung

Das Projekt betrifft eine RK3588-Android-Datenbrille. Frontal-, Links- und Rechtsprofile werden lokal auf dem Gerät erkannt, ohne einen Cloud-Erkennungsdienst. Das SDK verarbeitet Camera2-Videoframes oder lokale Bilder und liefert Gesichtsrahmen, fünf Landmarken, Orientierung, yaw, Konfidenz, eine kurzzeitige Tracking-ID und die Verarbeitungszeit. Geliefert wurden Core AAR, Face AAR, eine Camera2-Demo und Integrationsunterlagen.

Der Umfang ist Gesichtserkennung im Sinne von Detektion und Schätzung der Blickrichtung, nicht Personenidentifikation. Namen, Personalnummern, Gesichtsdatenbank, 1:1-Verifikation, 1:N-Suche, Lebenderkennung sowie Alters-, Geschlechts- oder Emotionsanalyse sind nicht enthalten.

Projektkontext

Zielplattform war eine RK3588-Android-Datenbrille mit arm64-v8a. Personen sollten in der Kameravorschau für Auswahl per Antippen, Ausschnittvergrößerung und weitere Geschäftsabläufe lokalisiert werden. Die Verarbeitung musste offline auf dem Gerät laufen und in eine vorhandene Android-App integrierbar sein.

Unterstützte Eingaben sind Camera2 YUV_420_888, NV21, RGBA_8888 und lokale Standbilder. Zusätzlich wurden unterschiedliche Kamera- und Inferenzraten, Lebensdauer der Bildpuffer, Drehung, Spiegelung, YUV stride und die Abbildung der Modellkoordinaten auf die Vorschau berücksichtigt.

Lieferumfang

Technische Lösung

Verarbeitungskette: Camera2 oder Standbild → Format- und Orientierungsverarbeitung → OpenCV-YuNet-Detektion → geometrische Analyse von fünf Landmarken → frontal/links/rechts → kurzzeitiges Tracking → Ergebnis-Callback und UI-Overlay.

Die Lieferbasis verwendet OpenCV 4.10.0 und den YuNet-CPU-Detektor. Echtzeitdaten werden auf 320×320, Standbilder standardmäßig auf 640×640 skaliert. Alle drei Richtungen nutzen denselben Detektor und dieselbe SDK-Schnittstelle; die Richtung wird aus der Geometrie der Landmarken geschätzt.

Die Demo übermittelt alle 100 ms eine Detektionsanfrage, etwa zehn pro Sekunde. Pro SDK-Instanz bleibt höchstens eine asynchrone Anfrage offen. Anwendungsseitige DirectBuffer halten Y-, U- und V-Daten. Camera2 nutzt acquireLatestImage(), um alte Frames zu überspringen und die Latenz zu begrenzen.

Fehlerursache und Korrektur

Einige Bilder wurden auf dem Desktop erkannt, lieferten in der Android-Demo jedoch null Ergebnisse. Der Vergleich von Modell, Eingabe und Mobilausgabe führte zur Auswertung der OpenCV-Java-Ergebnismatrix.

FaceDetectorYN.detect() liefert eine einkanalige Matrix N×15. Der ursprüngliche Android-Code las nicht alle 15 Werte einer Zeile, sodass gültige Ergebnisse an der Längenprüfung verworfen wurden. Die Korrektur liest jede Zeile anhand von Spalten- und Kanalzahl vollständig. Ergänzt wurden Drehung, Farbumwandlung, ein Rückfall für breite Bilder und AAR-Konsistenzprüfungen.

Die Regression wurde auf Frontal-, Profil- und Negativbilder sowie Standbilder und die Camera2-Kette erweitert, um Modell-, Vorverarbeitungs-, Decoder- und Koordinatenfehler zu trennen.

Technische Verifikation

Die folgenden Daten stammen aus dem Lieferprotokoll vom 29.07.2026 und gelten für Eye Algo Face SDK 0.4.5 fix5 auf RK3588 Android arm64-v8a. Sie belegen den angegebenen Build, die Schnittstellen und den kurzen Lauf, nicht jedoch Seriengenauigkeit, Langzeitstabilität oder Produktionsleistung.

Der technische Beispielsatz enthält Frontalbilder, symmetrische Links-/Rechtsprofile und Negativbilder ohne Gesicht. Er prüft Detektion, Richtungswert und UI-Kette, ist aber keine Grundlage für Precision, Recall, F1 oder Genauigkeit je Pose.

Ergebnis und Einsatz

• Frontal-, Links- und Rechtsprofil wurden in einer Android-SDK-Schnittstelle zusammengeführt.
• Camera2-Frames und lokale Bilder verwenden dasselbe Ergebnisformat.
• Lokale Verarbeitung reduziert den Bedarf, Rohvideo in eine Cloud zu übertragen, und funktioniert ohne Netzwerk.
• Gesichtsrahmen und Landmarken unterstützen Auswahl, kurzzeitiges Tracking, Vergrößerung und nachgelagerte Algorithmen.
• Das Paket enthält Demo, AARs, Integrationsanleitung, Fehleranalyse und Hash-Liste.

Typische Anwendungen sind Personenauswahl in Datenbrillen, Mehrpersonenszenen, Richtungsanzeige, Offline-Bilder und die Vorbereitung von Gesichtsausschnitten. Nachgelagerte Identitäts-, Liveness- oder Verhaltensanalyse gehört nicht zum Lieferumfang.

Abnahmegrenzen

Der aktuelle Stand dient Kundentests und technischer Integration und ist nicht produktiv signiert. Vor einer Veröffentlichung sind Kundenschlüssel sowie eine festgelegte reale Abnahmemenge mit Annotationsregeln, Precision, Recall, F1, Verwechslungsmatrix je Pose und erlaubten Schwellen erforderlich.

Extreme Profile, Verdeckung, starke Reflexion, schwaches Licht, kleine Gesichter und Bildschirmaufnahmen können weiterhin zu Auslassungen oder Richtungsfehlern führen. Eine Einzelmessung darf nicht als Mittelwert, P95, stabile Bildrate oder Langzeitleistung ausgelegt werden. Der nicht abgeschlossene Acht-Stunden-Test wird nicht als bestanden angegeben.

Häufige Fragen

Benötigt das SDK eine Netzwerkverbindung?

Die Detektion läuft lokal auf dem RK3588-Android-Gerät. Eine Netzwerkverbindung hängt nur von den übrigen Funktionen der Kunden-App ab.

Ist Personenidentifikation enthalten?

Nein. Enthalten sind Gesichtsposition, fünf Landmarken und die Richtung frontal/links/rechts, nicht Name, Gesichtsdatenbank, 1:1 oder 1:N.

Wie erfolgt die Integration?

Core AAR und Face AAR bieten synchrone und asynchrone APIs. Camera2-Demo, Eingabeformate, Pufferregeln, Beispielcode und Fehlerhinweise liegen bei.

Welche RK3588-Prüfungen wurden abgeschlossen?

Installation, Start, Berechtigungen, Standbildbeispiele und eine zehnsekündige Camera2-Kette wurden geprüft. Formale Genauigkeit, Produktionssignatur und Acht-Stunden-Stabilität bleiben separate Abnahmepunkte.

Kann das SDK unverändert auf einem anderen RK3588-Gerät laufen?

Schnittstelle und Integrationsmethode sind wiederverwendbar. Kamera, Android-Version, Orientierung, stride, Speicher, Temperatur und Last erfordern jedoch erneute Build-, Funktions-, Leistungs- und Stabilitätsprüfungen.

Verwandte Leistungen

• KI-Entwicklung
• Computer-Vision-Entwicklung
• Softwareentwicklung
• Produktdesign und Fertigung