RK3588 Reconnaissance faciale hors ligne et Android-SDK : étude de cas de livraison

Résumé

Le projet concerne des lunettes de données RK3588-Android. Les profils frontaux, gauche et droit sont détectés localement sur l'appareil, sans service de détection cloud. Le SDK traite les images vidéo de la Caméra2 ou les images locales et fournit des images de visage, cinq points de repère, l'orientation, le lacet, la confiance, un identifiant de suivi à court terme et le temps de traitement. Core AAR, Face AAR, une démo Camera2 et des documents d'intégration ont été livrés.

Le champ d’application est la reconnaissance faciale dans le sens de détecter et d’estimer la direction du regard, et non l’identification d’une personne. Les noms, numéros personnels, base de données faciales, vérification 1:1, recherche 1:N, détection de la vivacité et analyse de l'âge, du sexe ou des émotions ne sont pas inclus.

Contexte du projet

La plate-forme cible était une paire de lunettes de données RK3588-Android arm64-v8a. Les personnes doivent être situées dans l'aperçu de la caméra pour la sélection par pression, le zoom de recadrage et d'autres opérations commerciales. Le traitement devait s'exécuter hors ligne sur l'appareil et pouvoir être intégré dans une application Android existante.

Prise en charge de l'appareil photo2 YUV_420_888, NV21, RGBA_8888 et des images fixes locales. De plus, différents taux de caméra et d'inférence, la durée de vie des tampons d'image, la rotation, la mise en miroir, la foulée YUV et le mappage des coordonnées du modèle avec l'aperçu ont été pris en compte.

Contenu de la livraison

poste	Contenu
Android SDK	AAR de base et AAR de visage
démo	Camera2-Demo-APK pour la détection visuelle
API	Détection synchrone et asynchrone
Entrée	`YUV_420_888`, `NV21`, `RGBA_8888` et images locales
Édition	Cadre du visage, confiance, cinq points de repère, lacet frontal/links/rechts,, `trackId` et durée d'exécution par appel
Documents	Guide d'intégration, exemple de code, analyse des erreurs, notes de version et liste SHA-256
Fonctionnement	Traitement hors ligne sur l'appareil RK3588-Android

Solution technique

Chaîne de traitement : Caméra2 ou image fixe → traitement du format et de l'orientation → OpenCV Détection YuNet → analyse géométrique de cinq points de repère → frontal/links/rechts → suivi à court terme → rappel des résultats et superposition de l'interface utilisateur.

La base de livraison utilise OpenCV 4.10.0 et le détecteur YuNet CPU. Les données en temps réel sont activées 320×320, images fixes par défaut 640×640 escaladé. Les trois directions utilisent le même détecteur et la même interface SDK ; la direction est estimée à partir de la géométrie des points de repère.

La démo envoie une requête de détection toutes les 100 ms, environ une dizaine par seconde. Au plus une requête asynchrone reste ouverte par SDK instance. Les DirectBuffers côté application contiennent les données Y, U et V. Utilisations de la caméra 2 acquireLatestImage()pour ignorer les anciennes images et limiter la latence.

Cause de l'erreur et correction

Certaines images ont été reconnues sur le bureau mais n'ont renvoyé aucun résultat dans la démo Android. La comparaison du modèle, de l'entrée et de la sortie mobile a conduit à l'évaluation de la matrice de résultats Java OpenCV.

FaceDetectorYN.detect() fournit une matrice monocanal N×15. Le code Android d'origine n'a pas lu les 15 valeurs d'une ligne, les résultats valides ont donc été rejetés lors de la vérification de la longueur. Le correcteur lit chaque ligne dans son intégralité en fonction du nombre de colonnes et de canaux. Ajout de la rotation, de la conversion des couleurs, d'une solution de repli pour les images larges et des contrôles de cohérence AAR.

La régression a été étendue aux images frontales, de profil et négatives ainsi qu'aux images fixes et à la chaîne Camera2 pour séparer les erreurs de modèle, de prétraitement, de décodeur et de coordination.

Vérification technique

Les données suivantes proviennent du journal de livraison du 29 juillet 2026 et s'appliquent à Eye Algo Face SDK 0.4.5 fix5 à RK3588 Android arm64-v8a. Ils prouvent la construction spécifiée, les interfaces et le court terme, mais pas la précision de la série, la stabilité à long terme ou les performances de production.

Examen	Résultat
SDK, tests unitaires de noyau et de face	157/157 réussi
Tests unitaires de démonstration	13/13 passé
Python outils pour le visage	143/143 réussi
Android Peluches	0 erreur, 19 avertissements
Construction APK et AAR	Réussi
RK3588 Installation, démarrage, autorisations	Réussi
Caméra2, 10 secondes	soumettre/rappeler 79/79 ; laissé tomber 0
Analyse d'erreur courte	Aucune erreur de crash, de caméra, d'autorisation ou de bibliothèque native trouvée

L'ensemble d'exemples techniques contient des images frontales, des profils gauche/droite symétriques et des images négatives sans visage. Il vérifie la détection, la valeur de direction et la chaîne d'interface utilisateur, mais ne constitue pas une base pour la précision, le rappel, la F1 ou l'exactitude par pose.

Résultat et efforts

Les profils frontaux, gauche et droit ont été fusionnés dans une interface Android-SDK.
Les images Camera2 et les images locales utilisent le même format de résultat.
Le traitement local réduit le besoin de transférer la vidéo brute vers un cloud et fonctionne sans réseau.
Les cadres faciaux et les points de repère prennent en charge la sélection, le suivi à court terme, le grossissement et les algorithmes en aval.
Le package comprend une démo, des AAR, un guide d'intégration, une analyse des erreurs et une liste de hachage.

Les exemples typiques sont des informations sur les personnes dans les messages de date, les paramètres de personnes, les analyses riches, les images hors ligne et la présentation des modèles de données. L’analyse de l’identité, de la vivacité ou du comportement en aval n’est pas incluse dans la livraison.

Limites d'acceptation

L'état actuel est utilisé pour les tests clients et l'intégration technique et n'est pas signé de manière productive. Avant publication, des clés client et une quantité d'achat réelle définie avec règles d'annotation, précision, rappel, F1, matrice de confusion par pose et seuils autorisés sont nécessaires.

Les profils extrêmes, l'occlusion, les fortes réflexions, la faible luminosité, les petits visages et les captures d'écran peuvent toujours entraîner des omissions ou des erreurs de direction. Une seule mesure ne doit pas être interprétée comme une moyenne, P95, une fréquence d’images stable ou des performances à long terme. Le test de huit heures qui n’est pas terminé n’est pas signalé comme réussi.

Questions fréquemment posées

Le SDK nécessite-t-il une connexion réseau ?

La détection s'exécute localement sur l'appareil RK3588-Android. Une connexion réseau dépend uniquement des autres fonctions de l'application client.

L'identification personnelle est-elle incluse ?

Non. Sont inclus la position du visage, cinq points de repère et la direction frontale/links/rechts, et non le nom, la base de données du visage, 1:1 ou 1:N.

Comment avez-vous réussi l'intégration ?

Core AAR et Face AAR proposent des API synchrones et asynchrones. La démo Camera2, les formats d'entrée, les règles de tampon, un exemple de code et des notes d'erreur sont inclus.

Quels RK3588 audits ont été réalisés ?

L'installation, le démarrage, les autorisations, des exemples d'images fixes et une chaîne Camera2 de dix secondes ont été vérifiés. L'exactitude formelle, la signature de production et la stabilité de huit heures restent des points d'acceptation distincts.

Le SDK peut-il fonctionner sans changement sur un autre appareil RK3588 ?

L'interface et la méthode d'intégration sont réutilisables. Appareil photo, version Android, orientation, foulée, vitesse, température et dernière configuration, fonctions, performances et tests de stabilité.