RK3588 Rozpoznawanie twarzy offline i Android-SDK: Studium przypadku dostawy

Podsumowanie

Projekt dotyczy okularów danych RK3588-Android. Profile czołowe, lewe i prawe są wykrywane lokalnie na urządzeniu, bez usługi wykrywania chmur. SDK przetwarza klatki wideo z kamery 2 lub obrazy lokalne i udostępnia klatki twarzy, pięć punktów orientacyjnych, orientację, odchylenie, pewność, krótkoterminowy identyfikator śledzenia i czas przetwarzania. Dostarczono Core AAR, Face AAR, wersję demonstracyjną Camera2 i dokumenty dotyczące integracji.

Zakresem jest rozpoznawanie twarzy w sensie wykrywania i oceny kierunku spojrzenia, a nie identyfikacja osoby. Nazwiska, numery personelu, baza danych twarzy, weryfikacja 1:1, wyszukiwanie 1:N, wykrywanie żywotności oraz analiza wieku, płci i emocji nie są uwzględnione.

Kontekst projektu

Platformą docelową była para okularów danych RK3588–Android arm64-v8a. Osoby powinny być widoczne w podglądzie kamery w celu umożliwienia wyboru poprzez dotknięcie, przycięcia kadru i innych operacji biznesowych. Przetwarzanie musiało odbywać się na urządzeniu w trybie offline i umożliwiać integrację z istniejącą aplikacją Android.

Obsługiwane wejścia to Camera2 YUV_420_888, NV21, RGBA_8888 i lokalne obrazy nieruchome. Dodatkowo wzięto pod uwagę różne szybkości kamer i wnioskowania, żywotność buforów obrazu, rotację, odbicie lustrzane, krok YUV i mapowanie współrzędnych modelu na podgląd.

Zakres dostawy

pozycja	Treść
Android SDK	Rdzeń AAR i twarz AAR
demo	Wersja demonstracyjna Camera2 APK do wykrywania twarzy w czasie rzeczywistym
API	Detekcja synchroniczna i asynchroniczna
Wejście	`YUV_420_888`, `NV21`, `RGBA_8888` i lokalne obrazy
Wydanie	Rama twarzy, pewność siebie, pięć punktów orientacyjnych, przód/lewo/prawo, odchylenie, `trackId` i czas działania na połączenie
Dokumenty	Przewodnik po integracji, przykładowy kod, analiza błędów, informacje o wersji i lista SHA-256
Operacja	Przetwarzanie offline na urządzeniu RK3588-Android

Rozwiązanie techniczne

Łańcuch przetwarzania: Kamera2 lub obraz nieruchomy → przetwarzanie formatu i orientacji → OpenCV wykrywanie YuNet → analiza geometryczna pięciu punktów orientacyjnych → czołowy/links/rechts → śledzenie krótkoterminowe → wywołanie zwrotne wyników i nakładka interfejsu użytkownika.

Baza dostaw wykorzystuje OpenCV 4.10.0 i detektor procesora YuNet. Dane w czasie rzeczywistym są włączone 320×320, domyślnie nieruchome obrazy 640×640 skalowane. Wszystkie trzy kierunki wykorzystują ten sam detektor i ten sam interfejs SDK; kierunek jest szacowany na podstawie geometrii punktów orientacyjnych.

Wersja demonstracyjna wysyła żądanie wykrycia co 100 ms, około dziesięciu na sekundę. Maksymalnie jedno żądanie asynchroniczne pozostaje otwarte na SDK instancji. Bufory bezpośrednie po stronie aplikacji przechowują dane Y, U i V. Używa Camera2 acquireLatestImage()aby pominąć stare ramki i ograniczyć opóźnienia.

Przyczyna błędu i korekta

Niektóre obrazy zostały rozpoznane na pulpicie, ale w wersji demonstracyjnej Android zwróciły zero wyników. Porównanie modelu, danych wejściowych i wyników mobilnych doprowadziło do oceny macierzy wyników OpenCV Java.

FaceDetectorYN.detect() zapewnia matrycę jednokanałową N×15. Oryginalny kod Android nie odczytał wszystkich 15 wartości wiersza, więc prawidłowe wyniki zostały odrzucone podczas sprawdzania długości. Korektor czyta każdą linię w całości na podstawie liczby kolumn i kanałów. Dodano rotację, konwersję kolorów, rezerwę dla szerokich obrazów i kontrole spójności AAR.

Regresję rozszerzono na obrazy czołowe, profilowe i negatywowe, a także obrazy nieruchome i łańcuch Camera2 w celu oddzielenia błędów modelu, przetwarzania wstępnego, dekodera i koordynacji.

Weryfikacja techniczna

Poniższe dane pochodzą z protokołu dostaw z dnia 29.07.2026 i dotyczą Eye Algo Face SDK 0.4.5 fix5 do RK3588 Android arm64-v8a. Dowodzą określonej konstrukcji, interfejsów i krótkich serii, ale nie dokładności serii, długoterminowej stabilności ani wydajności produkcyjnej.

Egzamin	Wynik
SDK, testy jednostkowe rdzenia i powierzchni czołowej	157/157 minęło
Testy jednostkowe demonstracyjne	Minął 13.13
Python narzędzia do twarzy	143/143 minęło
Android Szarpie	0 błędów, 19 ostrzeżeń
Kompilacja APK i AAR	Minęło
RK3588 Instalacja, uruchomienie, uprawnienia	Minęło
Kamera2, 10 sekund	prześlij/oddzwoń 79/79; spadło 0
Krótkie skanowanie błędów	Nie znaleziono błędów awarii, aparatu, uprawnień ani bibliotek natywnych

Zestaw przykładów technicznych zawiera obrazy od przodu, symetryczne profile lewy/prawy oraz obrazy negatywowe bez twarzy. Sprawdza wykrywanie, wartość kierunku i łańcuch interfejsu użytkownika, ale nie stanowi podstawy precyzji, przywoływania, F1 ani dokładności na pozę.

Wynik i wysiłek

Profile czołowe, lewe i prawe zostały połączone w interfejs Android-SDK.
Ramki Camera2 i obrazy lokalne korzystają z tego samego formatu wyników.
Przetwarzanie lokalne zmniejsza potrzebę przesyłania surowego wideo do chmury i działa bez sieci.
Ramki twarzy i punkty orientacyjne obsługują algorytmy selekcji, śledzenia krótkoterminowego, powiększenia i dalszego śledzenia.
Pakiet zawiera wersję demonstracyjną, AAR, przewodnik integracji, analizę błędów i listę skrótów.

Typowe zastosowania obejmują selekcję osób w inteligentnych okularach, sceny wieloosobowe, wyświetlanie kierunku, obrazy offline i przygotowywanie wycięć twarzy. Dalsza analiza tożsamości, żywotności i zachowania nie wchodzi w zakres dostawy.

Limity akceptacji

Obecny status służy do testowania u klienta i integracji technicznej i nie jest podpisywany produktywnie. Przed publikacją wymagane są klucze klientów i zdefiniowana rzeczywista wielkość zakupu z zasadami adnotacji, precyzją, wycofaniem, F1, macierzą zamieszania na pozycję i dozwolonymi progami.

Ekstremalne profile, okluzja, silne odbicia, słabe oświetlenie, małe twarze i zrzuty ekranu mogą nadal powodować pominięcia lub błędy kierunkowe. Pojedynczego pomiaru nie należy interpretować jako średniej, P95, stabilnej liczby klatek na sekundę lub długoterminowej wydajności. Niezakończony ośmiogodzinny test nie jest uznawany za zaliczony.

Często zadawane pytania

Czy SDK wymaga połączenia sieciowego?

Wykrywanie odbywa się lokalnie na urządzeniu RK3588-Android. Połączenie sieciowe zależy wyłącznie od innych funkcji aplikacji klienta.

Czy uwzględniono dowód osobisty?

Nie. Uwzględniono położenie twarzy, pięć punktów orientacyjnych i kierunek frontalny/links/rechts,, a nie nazwę, bazę danych twarzy, 1:1 lub 1:N.

Jak przebiega integracja?

Core AAR i Face AAR oferują synchroniczne i asynchroniczne APIs. Dołączono wersję demonstracyjną Camera2, formaty wejściowe, zasady buforowania, przykładowy kod i uwagi o błędach.

Które RK3588 audyty zostały zakończone?

Sprawdzono instalację, uruchomienie, uprawnienia, przykłady zdjęć i dziesięciosekundowy łańcuch Camera2. Formalna dokładność, sygnatura produkcyjna i ośmiogodzinna stabilność pozostają odrębnymi punktami akceptacji.

Czy SDK może działać bez zmian na innym urządzeniu RK3588?

Interfejs i metoda integracji nadają się do wielokrotnego użytku. Jednak kamera, wersja Android, orientacja, krok, pamięć, temperatura i obciążenie wymagają nowej konstrukcji oraz kontroli funkcjonalności, wydajności i stabilności.