Offline meerstemmige TTS en Android-SDK op RK3588-S

Projectcontext en publicatielimiet

Het project had betrekking op offline tekst-naar-spraak op een RK3588-S-apparaat. Onder Android 12 zijn arm64-v8a en normale app-machtigingen, modelpakket, streaming-callbacks, afspeelbedieningen, mannelijke en vrouwelijke stemmen, AAR en demo-APK geïmplementeerd. WAV-bestanden en metingen komen van het echte apparaat. Klant- en activa-ID's zijn verwijderd; Alleen feiten die verifieerbaar zijn via code, builds, logs en audio worden gepubliceerd.

Ontwikkelingsdoelen

• Genereer taal lokaal zonder netwerk.
• Bied asynchrone PCM-streaming aan via een AAR van Android.
• Maak één Chinese mannenstem en meerdere vrouwenstemmen selecteerbaar.
• Lever demo, integratiegids, licenties, WAV-bestanden en audittrails.

Lokaal verwerkingspad

Nieuwe teksten kunnen stoppen met actief zijn of wachten op oudere bestellingen. Het ongekwantiseerde Kokoro-model wordt geladen wanneer de SDK wordt gemaakt en draait op de RK3588-S CPU. Er worden blokken met 24 kHz, mono en PCM16 little-endian weergegeven. Het synthesepad maakt geen gebruik van een cloud-TTS-service.

1. Genereer taal lokaal zonder netwerk.
2. Bied asynchrone PCM-streaming aan via een AAR van Android.
3. Maak één Chinese mannenstem en meerdere vrouwenstemmen selecteerbaar.
4. Lever demo, integratiegids, licenties, WAV-bestanden en audittrails.

Android-SDK levering

De AAR biedt EyeTtsSdk, TtsOptions, TtsStreamCallback en TtsAudioData. ReplaceTextStreamAsync() stopt oudere tekst en maakt de nieuwste; stopTts() stopt en maakt de wachtrij leeg. De uitvoer is onbewerkte PCM, geen WAV-bestand.

TtsOptions options = new TtsOptions("zm_009", 1.0f, 1.0f);
tts.replaceTextStreamAsync(text, options, callback);
// callback.onAudioChunk(... TtsAudioData audio)

Mannelijke stem- en apparaattest

De mannenstem werd gecontroleerd op het apparaat. Uitgebracht is zm_009, luidspreker-ID 58, met dezelfde snelheid van 0,8x, 1,0x en 1,4x. De duur is 5.549, 4.363 en 3.086 seconden; alle WAV-bestanden zijn 24 kHz mono PCM16 zonder clipping. Metingen zijn geen vervanging voor gehoorbeoordelingen.

Man zm_009 / 0,8x

Man zm_009 / 1.0x

Man zm_009 / 1,4x

Verschillende vrouwenstemmen

SDK 0.5.1 kent 55 officiële Chinese vrouwenstemmen toe; In de demo op RK3588-S zijn twaalf kandidaten gegenereerd. zf_001 dient als referentie. Verschillende looptijden, piekwaarden en hashes sluiten dubbele export uit, maar bewijzen geen natuurlijkheid of geschiktheid.

Vrouw zf_001 / 1.0x

Hardware- en softwareomgeving

Gemeten waarden bij RK3588-S

Dezelfde korte Chinese zin werd gemeten met vier CPU-threads en SDK volumeparameter 1.0. First Chunk is de tijd tot de eerste PCM; RTF is de generatietijd gedeeld door de audiolengte. Bron: Winge-RK3588-S testrapport van 5 augustus 2026. De kleine steekproef is geen garantie.

Tests en leveringsomvang

• EyeAlgo-TTS-Android-AAR en bijpassende Core-AAR.
• Demo APK voor spraak, snelheid, volume, afspelen, stoppen en WAV-export.
• Kokoro-inventaris en SHA-256, WAV's, apparaatlogboeken, integratiedocumenten en licenties.

38 testsuites / 185 testgevallen / 0 fouten / 0 fouten / 0 overgeslagen. AAR- en APK-builds zijn geslaagd.

Toepassingsgebieden

Geschikt voor beoordeling van meldingen met slimme brillen, offline OCR-lezen, industriële handheld-apparaten, fabrieksalarmen, tentoonstellingen en geïsoleerde Android-netwerken. Dialoog, lange tekst en seriefirmware vereisen hun eigen controles op grootte, geheugen, latentie, audioketen, tekstnormalisatie en stabiliteit.

Integratie voorwaarden

• Getest waren Android 12 en arm64-v8a; voor andere doelen is compatibiliteitscontrole vereist.
• De niet-gekwantiseerde AAR is ongeveer 354 MiB, de demo-APK is ongeveer 360 MiB.
• Verwijder conflicterende runtimes en stel AudioTrack in op 24000 Hz, mono, PCM16 little-endian.

Grenzen en afname

• Status: CUSTOMER_TEST / GEEN PRODUCTIE.
• Lange tekst, stabiliteit van acht uur, luistervergelijking van alle stemmen, INT8 en productiesignatuur zijn open.
• Eerste deel P95 en RTF voldoen niet aan het oorspronkelijke doel.

Openbare technische bronnen

Spraak-ID's, Android-configuratie en bemonsteringsfrequentie volgen de sherpa-onnx-Kokoro-documentatie. Herkomst en licentie volgen Kokoro-82M-v1.1-zh. Upstream-documenten identificeren het onderdeel, maar zijn geen bewijs van acceptatie.

• sherpa-onnx Kokoro multi-long v1.1
• Kokoro-82M-v1.1-zh

Veelgestelde vragen

Werkt de SDK volledig offline?

De synthese draait lokaal zonder cloud-TTS. Of er voor initiële distributie of datasynchronisatie een netwerk nodig is, hangt af van de uitrol.

Is de mannenstem getest op RK3588-S?

Ja. zm_009 werd gegenereerd met drie snelheden; Latentie, tijd, RTF en clipping werden geregistreerd. Er zijn lange sms'jes en acht uur in behandeling.

Hoeveel Chinese vrouwenstemmen zijn er?

In de demo op het apparaat worden 55 namen toegewezen en twaalf kandidaten gegenereerd. Dit is geen subjectieve daling van alle stemmen.

Levert de terugbelactie WAV op?

Nee. Het levert onbewerkte 24 kHz mono PCM16-gegevens. Er is een WAV-header toegevoegd voor opslag.

Waarom niet klaar voor productie?

Lange tekst, alle stemmen, stabiliteit van acht uur, productiesignatuur en audioketen van de klant zijn nog niet goedgekeurd.