Offline wielogłosowy TTS i Android-SDK na RK3588-S

Kontekst projektu i limit publikacji

Projekt dotyczył zamiany tekstu na mowę w trybie offline na urządzeniu RK3588-S. W wersji Android 12 zaimplementowano arm64-v8a i normalne uprawnienia aplikacji, pakiet modeli, wywołania zwrotne przesyłania strumieniowego, sterowanie odtwarzaniem, głosy męskie i żeńskie, AAR i demo APK. Pliki WAV i pomiary pochodzą z prawdziwego urządzenia. Usunięto identyfikatory klientów i aktywów; Publikowane są wyłącznie fakty, które można zweryfikować za pomocą kodu, kompilacji, dzienników i dźwięku.

Cele rozwojowe

• Generuj język lokalnie, bez sieci.
• Oferuj asynchroniczne przesyłanie strumieniowe PCM przez Android AAR.
• Wybierz jeden chiński głos męski i kilka głosów żeńskich.
• Dostarcz wersję demonstracyjną, przewodnik integracji, licencje, pliki WAV i ścieżki audytu.

Lokalna ścieżka przetwarzania

Nowe SMS-y mogą przestać być aktywne lub czekać na starsze zamówienia. Niekwantyzowany model Kokoro jest ładowany podczas tworzenia SDK i działa na procesorze RK3588-S. Wyprowadzane są bloki o częstotliwości 24 kHz, mono i Little-endian PCM16. Ścieżka syntezy nie korzysta z usługi TTS w chmurze.

1. Generuj język lokalnie, bez sieci.
2. Oferuj asynchroniczne przesyłanie strumieniowe PCM przez Android AAR.
3. Wybierz jeden chiński głos męski i kilka głosów żeńskich.
4. Dostarcz wersję demonstracyjną, przewodnik integracji, licencje, pliki WAV i ścieżki audytu.

Dostawa Android-SDK

AAR oferuje EyeTtsSdk, TtsOptions, TtsStreamCallback i TtsAudioData. zamieńTextStreamAsync() zatrzymuje starszy tekst i tworzy najnowszy; stopTts() zatrzymuje i opróżnia kolejkę. Dane wyjściowe to surowy plik PCM, a nie plik WAV.

TtsOptions options = new TtsOptions("zm_009", 1.0f, 1.0f);
tts.replaceTextStreamAsync(text, options, callback);
// callback.onAudioChunk(... TtsAudioData audio)

Test męskiego głosu i urządzenia

Na urządzeniu sprawdzono męski głos. Wydano zm_009, identyfikator głośnika 58, z tą samą szybkością przy 0,8x, 1,0x i 1,4x. Czasy trwania wynoszą 5,549, 4,363 i 3,086 sekundy; wszystkie pliki WAV mają częstotliwość 24 kHz, mono PCM16, bez przesterowania. Pomiary nie zastępują oceny słuchu.

Samiec zm_009 / 0,8x

Samiec zm_009 / 1,0x

Samiec zm_009 / 1,4x

Kilka kobiecych głosów

SDK 0.5.1 przypisuje 55 oficjalnych chińskich głosów żeńskich; W wersji demonstracyjnej na RK3588-S wygenerowano dwunastu kandydatów. zf_001 służy jako odniesienie. Różne czasy trwania, wartości szczytowe i skróty wykluczają podwójny eksport, ale nie dowodzą naturalności ani przydatności.

Kobieta zf_001 / 1,0x

Środowisko sprzętowe i programowe

Zmierzone wartości przy RK3588-S

To samo krótkie chińskie zdanie zostało zmierzone z czterema wątkami procesora i parametrem głośności SDK 1,0. First Chunk to czas do pierwszego PCM; RTF to czas generacji podzielony przez długość dźwięku. Źródło: Raport z testu Winge-RK3588-S z 5 sierpnia 2026 r. Mała próbka nie stanowi gwarancji.

Testy i zakres dostawy

• EyeAlgo-TTS-Android-AAR i pasujący Core-AAR.
• Demo APK do obsługi głosu, szybkości, głośności, odtwarzania, zatrzymywania i eksportu WAV.
• Inwentaryzacja Kokoro i SHA-256, WAV, logi urządzeń, dokumenty integracyjne i licencje.

38 zestawów testów / 185 przypadków testowych / 0 niepowodzeń / 0 błędów / 0 pominięć. Kompilacje AAR i APK przeszły pomyślnie.

Obszary zastosowań

Nadaje się do oceny powiadomień o inteligentnych okularach, odczytu OCR w trybie offline, przemysłowych urządzeń przenośnych, alarmów w zakładach, wystaw i izolowanych sieci Android. Oprogramowanie sprzętowe dialogów, długich tekstów i serii wymaga własnych kontroli rozmiaru, pamięci, opóźnienia, łańcucha audio, normalizacji tekstu i stabilności.

Warunki integracji

• Przetestowano Android 12 i arm64-v8a; inne cele wymagają sprawdzenia zgodności.
• Niekwantyzowany AAR to około 354 MiB, wersja demonstracyjna APK to około 360 MiB.
• Usuń sprzeczne środowiska wykonawcze i ustaw AudioTrack na 24000 Hz, mono, Little-endian PCM16.

Limity i spadki

• Status: CUSTOMER_TEST / NIE PRODUKCJA.
• Długi tekst, ośmiogodzinna stabilność, porównanie odsłuchu wszystkich głosów, INT8 i podpis produkcyjny są otwarte.
• Pierwsza porcja P95 i RTF nie spełniają pierwotnego celu.

Publiczne źródła techniczne

Identyfikatory głosowe, konfiguracja Android i częstotliwość próbkowania są zgodne z dokumentacją sherpa-onnx-Kokoro. Pochodzenie i licencja są zgodne z Kokoro-82M-v1.1-zh. Dokumenty początkowe identyfikują komponent, ale nie stanowią dowodu akceptacji.

• sherpa-onnx Kokoro multi-long v1.1
• Kokoro-82M-v1.1-zh

Często zadawane pytania

Czy SDK działa całkowicie offline?

Synteza przebiega lokalnie, bez chmury TTS. To, czy początkowa dystrybucja czy synchronizacja danych wymaga sieci, zależy od wdrożenia.

Czy męski głos został przebadany pod kątem RK3588-S?

Tak. zm_009 został wygenerowany przy trzech prędkościach; Rejestrowano opóźnienia, czas, RTF i obcinanie. Oczekuje długi tekst i osiem godzin.

Ile jest chińskich głosów żeńskich?

Przypisywanych jest 55 nazwisk i generowanych jest dwunastu kandydatów w wersji demonstracyjnej na urządzeniu. Nie jest to subiektywny spadek wszystkich głosów.

Czy wywołanie zwrotne dostarcza WAV?

Nie. Dostarcza surowe dane monofoniczne PCM16 o częstotliwości 24 kHz. Do przechowywania dodano nagłówek WAV.

Dlaczego nie jest gotowy do produkcji?

Długi tekst, wszystkie głosy, ośmiogodzinna stabilność, podpis produkcyjny i łańcuch audio klienta nie zostały jeszcze zatwierdzone.