Mapowanie współrzędnych funkcji wykrywania twarzy: pola kadrowania, obrotu, odbicia lustrzanego i podglądu

Opis modułu

Aby dopasować ramki wykrytych twarzy do podglądu, najpierw przelicz wyniki detektora na uzgodnione współrzędne obrazu źródłowego. Następnie zastosuj kadrowanie, obrót, odbicie i skalowanie zgodnie z rzeczywistym łańcuchem przetwarzania, z uwzględnieniem przesunięcia wyświetlania. Przykład stosuje kadrowanie, obrót zgodny z ruchem wskazówek zegara, odbicie poziome i powiększenie; nie jest to uniwersalna kolejność dla wszystkich urządzeń.

Przesunięcie lub odwrócenie ramki samo w sobie nie dowodzi błędu detektora. Strona opisuje wejścia modułu, przykład matematyczny i metody sprawdzania; nie ogłasza nowej wersji SDK.

Pola interfejsu modułu

Przesuń tabelę poziomo, aby wyświetlić wszystkie kolumny.

Obiekt	Wymagane pola	Cel
Wejście detekcyjne	Rozmiary oryginału i wejścia detektora, skala przetwarzania wstępnego lub dopełnienie	Przywróć dane wyjściowe modelu do uzgodnionych współrzędnych oryginalnego obrazu
Przycinanie i orientacja	Prostokąt przycięcia obrazu oryginalnego, kąt i kierunek obrotu, pozycja odbicia lustrzanego w sekwencji	Zdefiniuj obszar transformacji i kolejność operacji
Podgląd regionu	Widoczny obszar, tryb skalowania, przesunięcie wyświetlania i rzeczywista orientacja	Rozróżnij wypełnianie i przycinanie, wyświetlanie całego obrazu i dopełnianie
Dane wyjściowe i identyfikowalność	Ramki detekcji, punkty orientacyjne, znaczniki czasu, identyfikatory klatek obrazu i wersja konfiguracji transformacji	Powiąż wyniki z właściwą klatką obrazu i konfiguracją

Oddzielnie eksponuj oryginalne ramki detekcji, pięć punktów orientacyjnych i nakładkę podglądu. Jeśli podczas wstępnego przetwarzania modelu zastosowano dopełnianie lub zmianę rozmiaru, cofnij to przed uzgodnioną transformacją podglądu. Przekształć wszystkie narożniki ramek detekcji, a nie tylko środek.

Przykład orientacji, który można sprawdzić ręcznie

To jest przykład matematyczny, a nie pomiar urządzenia. Użyj współrzędnych o krawędzi ciągłej z początkiem w lewym górnym rogu, x w prawo i y w dół. Przytnij obraz o wymiarach 640×480 z (80,40) o rozmiarze 320×240. Pierwotny punkt (120,70) staje się (40,30) po odjęciu początku współrzędnych przyciętego obrazu. Obróć o 90 stopni zgodnie z ruchem wskazówek zegara: (240−30,40)=(210,40), z nowym rozmiarem 240×320. Odbij poziomo: (240−210,40)=(30,40). Skaluj o 2 bez dodanego przesunięcia: punkt wyświetlania wynosi (60,80) w obszarze 480 × 640.

A · Obraz źródłowy

640×480 · (120,70)

B · Po kadrowaniu

320×240 · (40,30)

C · Obrót o 90° zgodnie z ruchem wskazówek zegara

240×320 · (210,40)

D · Po odbiciu poziomym

240×320 · (30,40)

E · Po powiększeniu 2 razy

480×640 · (60,80)

Czerwony punkt oznacza ten sam punkt matematyczny. Każdy panel zachowuje proporcje własnego obrazu, więc wielkość ramek na ekranie nie służy do porównywania wymiarów w pikselach. To schematy ciągłych współrzędnych brzegowych, a nie wyniki detekcji na urządzeniu.

Są to współrzędne o ciągłej krawędzi, więc obrót wykorzystuje wysokość minus y. Zamiast tego dyskretny kod indeksu pikseli obejmuje wysokość minus 1 minus y; konwencji nie można mieszać bezpośrednio. Zapoznaj się z oficjalną dokumentacją macierzy Android i sprawdź skład matrycy w porównaniu z rzeczywistą umową wejścia/wyjścia.

oficjalna dokumentacja macierzy Android

Oddzielenie kontroli geometrycznych od weryfikacji urządzenia

Sprawdź narożniki, środek, punkty asymetryczne i prostokąty przekraczające granice przycinania obrazu, aby zweryfikować porządek, granice i transformacje odwrotne. Przekształć wszystkie cztery rogi prostokąta i ponownie oblicz otaczającą ramkę. Po sprawdzeniu geometrii sprawdź orientację czujnika, lustrzane odbicie kamery przedniej/tylnej, skalowanie podglądu i obrót ekranu na urządzeniu docelowym. Kontrole geometrii nie ustalają zachowania łańcucha przetwarzania w czasie rzeczywistym ani długoterminowej stabilności.

Raport z projektu RK3588 w trybie offline SDK w języku chińskim zapewnia prostokąty do wykrywania twarzy, punkty orientacyjne i orientację. Publiczna linia bazowa wykorzystuje wykrywanie YuNet CPU. Nie obejmuje rozpoznawania tożsamości ani zmierzonej wydajności NPU. Udostępniaj obrazy z oznaczeniami orientacyjnymi, informacje o urządzeniu i podgląd układów za pośrednictwem chińskojęzycznej usługi adaptacyjnej RK3588 Android w celu zdefiniowania interfejsów współrzędnych i integracji urządzenia docelowego.

Opis projektu SDK do lokalnej analizy obrazu na RK3588 (po chińsku) · Usługa adaptacji RK3588 Android w języku chińskim