RK3588 Offline gezichtsherkenning en Android-SDK: Casestudy van levering

Samenvatting

Het project betreft RK3588-Android databrillen. Frontale, linker- en rechterprofielen worden lokaal op het apparaat gedetecteerd, zonder clouddetectieservice. De SDK verwerkt Camera2-videoframes of lokale afbeeldingen en biedt gezichtsframes, vijf oriëntatiepunten, oriëntatie, gieren, vertrouwen, een tracking-ID voor de korte termijn en verwerkingstijd. Core AAR, Face AAR, een Camera2-demo en integratiedocumenten werden afgeleverd.

Het toepassingsgebied is gezichtsherkenning in de zin van het detecteren en schatten van de richting van de blik, niet persoonsidentificatie. Namen, personeelsnummers, gezichtsdatabase, 1:1-verificatie, 1:N-zoekopdracht, detectie van liveness en analyse van leeftijd, geslacht of emotie zijn niet inbegrepen.

Projectcontext

Het doelplatform was een databril van RK3588-Android arm64-v8a. Mensen moeten zich in het cameravoorbeeld bevinden voor tikselectie, zoom bijsnijden en andere zakelijke handelingen. De verwerking moest offline op het apparaat plaatsvinden en geïntegreerd kunnen worden in een bestaande Android-app.

Ondersteunde ingangen zijn Camera2 YUV_420_888, NV21, RGBA_8888 en lokale stilstaande beelden. Daarnaast werd er rekening gehouden met verschillende camera- en inferentiesnelheden, levensduur van de beeldbuffers, rotatie, spiegeling, YUV-stride en het in kaart brengen van de modelcoördinaten aan de preview.

Leveringsomvang

Technische oplossing

Verwerkingsketen: Camera2 of stilstaand beeld → formaat- en oriëntatieverwerking → OpenCV YuNet-detectie → geometrische analyse van vijf oriëntatiepunten → frontaal/links/rechts → kortetermijntracking → terugbellen van resultaten en UI-overlay.

De leveringsbasis maakt gebruik van OpenCV 4.10.0 en de YuNet CPU-detector. Realtime gegevens zijn ingeschakeld 320×320, standaard stilstaande beelden 640×640 geschaald. Alle drie de richtingen gebruiken dezelfde detector en dezelfde SDK-interface; de richting wordt geschat op basis van de geometrie van de oriëntatiepunten.

De demo verzendt elke 100 ms een detectieverzoek, ongeveer tien per seconde. Er blijft maximaal één asynchrone aanvraag open per SDK instantie. DirectBuffers aan de applicatiezijde bevatten Y-, U- en V-gegevens. Camera2 gebruikt acquireLatestImage()om oude frames over te slaan en de latentie te beperken.

Oorzaak van fout en correctie

Sommige afbeeldingen werden herkend op het bureaublad, maar leverden geen resultaten op in de demo van Android. De vergelijking van model, invoer en mobiele uitvoer leidde tot de evaluatie van de Java-resultatenmatrix OpenCV.

FaceDetectorYN.detect() biedt een eenkanaalsmatrix N×15. De oorspronkelijke Android-code las niet alle 15 waarden van een rij, dus geldige resultaten werden bij de lengtecontrole weggegooid. De proeflezer leest elke regel volledig op basis van het aantal kolommen en kanalen. Rotatie, kleurconversie, een fallback voor brede afbeeldingen en AAR-consistentiecontroles toegevoegd.

Regressie is uitgebreid naar frontale, profiel- en negatieve beelden, evenals stilstaande beelden en de Camera2-keten om model-, voorbewerkings-, decoder- en coördinaatfouten te scheiden.

Technische verificatie

De volgende gegevens komen uit het leveringslogboek van 29 juli 2026 en zijn van toepassing op Eye Algo Face SDK 0.4.5 fix5 tot RK3588 Android arm64-v8a. Ze bewijzen de gespecificeerde build, de interfaces en de korte termijn, maar niet de serienauwkeurigheid, stabiliteit op lange termijn of productieprestaties.

De technische voorbeeldset bevat frontale afbeeldingen, symmetrische links/rechts profielen en negatieve afbeeldingen zonder gezicht. Het controleert detectie, richtingswaarde en UI-keten, maar is geen basis voor precisie, herinnering, F1 of nauwkeurigheid per pose.

Resultaat en inspanning

• Frontale, linker- en rechterprofielen zijn samengevoegd tot een interface Android-SDK.
• Camera2-frames en lokale afbeeldingen gebruiken hetzelfde resultaatformaat.
• Lokale verwerking vermindert de noodzaak om onbewerkte video naar een cloud over te brengen en werkt zonder netwerk.
• Gezichtskaders en oriëntatiepunten ondersteunen selectie, tracking op korte termijn, vergroting en stroomafwaartse algoritmen.
• Het pakket bevat een demo, AAR's, integratiegids, foutanalyse en hashlijst.

Typische toepassingen zijn onder meer de selectie van mensen in slimme brillen, scènes met meerdere personen, richtingsweergave, offline beelden en de voorbereiding van gezichtsuitsneden. Downstream identiteits-, liveness- of gedragsanalyse is niet inbegrepen in de leveringsomvang.

Acceptatielimieten

De huidige status wordt gebruikt voor klanttests en technische integratie en wordt niet productief ondertekend. Vóór publicatie zijn klantsleutels en een gedefinieerde werkelijke aankoophoeveelheid met annotatieregels, precisie, terugroepactie, F1, verwarringsmatrix per pose en toegestane drempels vereist.

Extreme profielen, occlusie, sterke reflectie, weinig licht, kleine gezichten en schermopnamen kunnen nog steeds leiden tot omissies of richtingsfouten. Een enkele meting mag niet worden geïnterpreteerd als een gemiddelde, P95, stabiele framesnelheid of langetermijnprestatie. De acht uur durende test die niet is afgerond, wordt niet als geslaagd gerapporteerd.

Veelgestelde vragen

Heeft de SDK een netwerkverbinding nodig?

De detectie gebeurt lokaal op het apparaat RK3588-Android. Een netwerkverbinding is alleen afhankelijk van de overige functies van de klantapp.

Is persoonlijke identificatie inbegrepen?

Nee. Inbegrepen zijn gezichtspositie, vijf oriëntatiepunten en de richting frontaal/links/rechts, niet naam, gezichtsdatabase, 1:1 of 1:N.

Hoe vindt de integratie plaats?

Core AAR en Face AAR bieden synchrone en asynchrone APIs. Camera2-demo, invoerformaten, bufferregels, voorbeeldcode en foutnotities zijn inbegrepen.

Welke RK3588 audits zijn afgerond?

Installatie, opstarten, rechten, voorbeelden van stilstaande beelden en een Camera2-keten van tien seconden werden gecontroleerd. Formele nauwkeurigheid, productiesignatuur en acht-uursstabiliteit blijven afzonderlijke acceptatiepunten.

Kan de SDK onveranderd op een ander RK3588-apparaat draaien?

De interface en integratiemethode zijn herbruikbaar. Camera, Android-versie, oriëntatie, paslengte, geheugen, temperatuur en belasting vereisen echter nieuwe controles op het gebied van constructie, functionaliteit, prestaties en stabiliteit.

Gerelateerde diensten

• AI-ontwikkeling
• Ontwikkeling van computervisies
• Software-ontwikkeling
• Productontwerp en productie