Sommario
Il progetto riguarda gli occhiali dati RK3588-Android. I profili frontale, sinistro e destro vengono rilevati localmente sul dispositivo, senza servizio di rilevamento cloud. SDK elabora i fotogrammi video della Camera2 o le immagini locali e fornisce fotogrammi del volto, cinque punti di riferimento, orientamento, imbardata, confidenza, un ID di tracciamento a breve termine e tempo di elaborazione. Sono stati forniti Core AAR, Face AAR, una demo di Camera2 e documenti di integrazione.
Lo scopo è il riconoscimento facciale nel senso di rilevare e stimare la direzione dello sguardo, non l'identificazione della persona. Nomi, numeri del personale, database facciale, verifica 1:1, ricerca 1:N, rilevamento della vitalità e analisi di età, sesso o emozioni non sono inclusi.
Contesto del progetto
La piattaforma target era un paio di occhiali dati RK3588-Android arm64-v8a. Le persone dovrebbero essere posizionate nell'anteprima della fotocamera per la selezione del tocco, lo zoom del ritaglio e altre operazioni aziendali. L'elaborazione doveva essere eseguita offline sul dispositivo e poter essere integrata in un'app Android esistente.
Gli ingressi supportati sono Camera2 YUV_420_888, NV21, RGBA_8888 e immagini fisse locali. Inoltre sono stati presi in considerazione i diversi tassi di fotocamera e di inferenza, la durata dei buffer delle immagini, la rotazione, il mirroring, il passo YUV e la mappatura delle coordinate del modello nell'anteprima.
Volume di consegna
| posizione | Contenuto |
|---|---|
| Android SDK | AAR centrale e AAR facciale |
| demo | APK demo di Camera2 per il rilevamento dei volti in tempo reale |
| API | Rilevamento sincrono e asincrono |
| Ingresso | YUV_420_888, NV21, RGBA_8888 e immagini locali |
| Edizione | Cornice del viso, fiducia, cinque punti di riferimento, imbardata frontale/links/rechts,, trackId e autonomia per chiamata |
| Documenti | Guida all'integrazione, codice di esempio, analisi degli errori, note sulla versione ed elenco SHA-256 |
| Operazione | Elaborazione offline sul dispositivo RK3588-Android |
Soluzione tecnica
Catena di elaborazione: Camera2 o immagine fissa → elaborazione formato e orientamento → OpenCV rilevamento YuNet → analisi geometrica di cinque punti di riferimento → frontale/links/rechts → tracciamento a breve termine → richiamata dei risultati e sovrapposizione dell'interfaccia utente.
La base di consegna utilizza OpenCV 4.10.0 e il rilevatore CPU YuNet. I dati in tempo reale sono attivi 320×320, immagini fisse per impostazione predefinita 640×640 scalato. Tutte e tre le direzioni utilizzano lo stesso rilevatore e la stessa interfaccia SDK; la direzione è stimata dalla geometria dei punti di riferimento.
La demo invia una richiesta di rilevamento ogni 100 ms, circa dieci al secondo. Resta aperta al massimo una richiesta asincrona per SDK istanza. I DirectBuffer lato applicazione contengono dati Y, U e V. Utilizza la fotocamera2 acquireLatestImage()per saltare i vecchi frame e limitare la latenza.
Causa dell'errore e correzione
Alcune immagini sono state riconosciute sul desktop ma non hanno restituito risultati nella demo Android. Il confronto tra modello, input e output mobile ha portato alla valutazione della matrice dei risultati Java OpenCV.
FaceDetectorYN.detect() fornisce una matrice a canale singolo N×15. Il codice originale Android non leggeva tutti i 15 valori di una riga, quindi i risultati validi venivano scartati nel controllo della lunghezza. Il correttore di bozze legge ogni riga completamente in base al numero di colonne e canali. Aggiunta rotazione, conversione del colore, fallback per immagini ampie e controlli di coerenza AAR.
La regressione è stata estesa alle immagini frontali, di profilo e negative, nonché alle immagini fisse e alla catena Camera2 per separare gli errori di modello, preelaborazione, decodifica e coordinate.
Verifica tecnica
I seguenti dati provengono dal registro di consegna del 29 luglio 2026 e si applicano a Eye Algo Face SDK 0.4.5 fix5 a RK3588 Android arm64-v8a. Dimostrano la costruzione specificata, le interfacce e la tiratura breve, ma non l'accuratezza della serie, la stabilità a lungo termine o le prestazioni di produzione.
| Esame | Risultato |
|---|---|
| SDK, test unitari core e face | 157/157 approvata |
| Test unitari dimostrativi | 13/13 passato |
| Python strumenti facciali | 143/143 approvata |
| Android Pelucchi | 0 errori, 19 avvisi |
| Build APK e AAR | Superato |
| RK3588 Installazione, avvio, autorizzazioni | Superato |
| Telecamera2, 10 secondi | inviare/richiamare 79/79; sceso 0 |
| Scansione degli errori breve | Nessun errore di arresto anomalo, fotocamera, autorizzazione o libreria nativa trovato |
Il set di esempi tecnici contiene immagini frontali, profili simmetrici sinistra/destra e immagini negative senza volto. Controlla il rilevamento, il valore della direzione e la catena dell'interfaccia utente, ma non costituisce una base per precisione, richiamo, F1 o accuratezza per posa.
Risultato e fatica
- I profili frontale, sinistro e destro sono stati uniti in un'interfaccia Android-SDK.
- I fotogrammi Camera2 e le immagini locali utilizzano lo stesso formato dei risultati.
- L'elaborazione locale riduce la necessità di trasferire video grezzi su un cloud e funziona senza rete.
- Le cornici facciali e i punti di riferimento supportano la selezione, il tracciamento a breve termine, l'ingrandimento e gli algoritmi a valle.
- Il pacchetto include demo, AAR, guida all'integrazione, analisi degli errori ed elenco hash.
Le applicazioni tipiche includono la selezione delle persone negli occhiali intelligenti, scene con più persone, visualizzazione della direzione, immagini offline e la preparazione di ritagli facciali. L'analisi dell'identità, della vitalità o del comportamento a valle non è inclusa nella fornitura.
Limiti di accettazione
Lo stato attuale viene utilizzato per i test dei clienti e l'integrazione tecnica e non è firmato in modo produttivo. Prima della pubblicazione sono richieste chiavi cliente e una quantità reale di acquisto definita con regole di annotazione, precisione, richiamo, F1, matrice di confusione per posa e soglie consentite.
Profili estremi, occlusione, forte riflesso, scarsa illuminazione, volti piccoli e catture di schermate possono comunque provocare omissioni o errori direzionali. Una singola misurazione non deve essere interpretata come un frame rate medio, P95, stabile o prestazioni a lungo termine. La prova di otto ore non completata non viene segnalata come superata.
Domande frequenti
SDK richiede una connessione di rete?
Il rilevamento viene eseguito localmente sul dispositivo RK3588-Android. Una connessione di rete dipende solo dalle altre funzioni dell'app cliente.
L'identificazione personale è inclusa?
No. Sono inclusi la posizione del viso, cinque punti di riferimento e la direzione frontale/links/rechts, non il nome, il database dei volti, 1:1 o 1:N.
Come avviene l'integrazione?
Core AAR e Face AAR offrono API sincroni e asincroni. Sono inclusi demo di Camera2, formati di input, regole di buffer, codice di esempio e note di errore.
Quali RK3588 audit sono stati completati?
Sono stati controllati l'installazione, l'avvio, i permessi, gli esempi di immagini fisse e una catena Camera2 di dieci secondi. L'accuratezza formale, la firma della produzione e la stabilità a otto ore rimangono punti di accettazione separati.
SDK può funzionare senza modifiche su un altro dispositivo RK3588?
L'interfaccia e il metodo di integrazione sono riutilizzabili. Tuttavia, la fotocamera, la versione Android, l'orientamento, il passo, la memoria, la temperatura e il carico richiedono nuovi controlli di costruzione, funzionalità, prestazioni e stabilità.
In linea
Telefono
WeChat
tornare all'inizio