TTS multi-voix hors ligne et Android-SDK sur RK3588-S

Contexte de projet et programmes de vérification

Le projet portait sur la synthèse vocale hors ligne sur un appareil RK3588-S. Sous Android 12, arm64-v8a et les autorisations normales des applications, le package de modèles, les rappels de streaming, les commandes de lecture, les voix masculines et féminines, l'AAR et l'APK de démonstration ont été implémentés. Les fichiers WAV et les mesures proviennent de l'appareil réel. Les identifiants des clients et des actifs ont été supprimés ; Seuls les faits vérifiables via le code, les builds, les journaux et l'audio sont publiés.

Objectifs de développement

• Générez du langage localement sans réseau.
• Proposez un streaming PCM asynchrone sur un AAR de Android.
• Créez une voix masculine chinoise et plusieurs voix féminines sélectionnables.
• Fournissez une démo, un guide d'intégration, des licences, des fichiers WAV et des pistes d'audit.

Chemin de traitement local

Les nouveaux SMS peuvent arrêter les anciennes commandes actives ou en attente. Le modèle Kokoro non quantifié est chargé lors de la création du SDK et s'exécute sur le processeur RK3588-S. Les blocs avec 24 kHz, mono et PCM16 little-endian sont émis. Le chemin de synthèse n'utilise pas de service cloud TTS.

1. Générez du langage localement sans réseau.
2. Proposez un streaming PCM asynchrone sur un AAR de Android.
3. Créez une voix masculine chinoise et plusieurs voix féminines sélectionnables.
4. Fournissez une démo, un guide d'intégration, des licences, des fichiers WAV et des pistes d'audit.

Android-SDK livraison

L'AAR propose EyeTtsSdk, TtsOptions, TtsStreamCallback et TtsAudioData. replaceTextStreamAsync() arrête le texte plus ancien et crée le plus récent ; stopTts() arrête et vide la file d'attente. La sortie est du PCM brut, pas un fichier WAV.

TtsOptions options = new TtsOptions("zm_009", 1.0f, 1.0f);
tts.replaceTextStreamAsync(text, options, callback);
// callback.onAudioChunk(... TtsAudioData audio)

Test de voix et d'appareils masculins

La voix masculine a été vérifiée sur l'appareil. Le zm_009 est publié, ID de haut-parleur 58, avec le même taux à 0,8x, 1,0x et 1,4x. Les durées sont de 5,549, 4,363 et 3,086 secondes ; tous les fichiers WAV sont en PCM16 mono 24 kHz sans écrêtage. Les mesures ne remplacent pas les évaluations auditives.

Mâle zm_009 / 0,8x

Mâle zm_009 / 1.0x

Mâle zm_009 / 1,4x

Plusieurs voix féminines

SDK 0.5.1 attribue 55 voix féminines chinoises officielles ; Douze candidats ont été générés lors de la démo sur RK3588-S. zf_001 sert de référence. Différentes durées, valeurs maximales et hachages excluent les doubles exportations, mais ne prouvent pas le caractère naturel ou l'adéquation.

Femelle zf_001 / 1.0x

Environnement matériel et logiciel

Valeurs mesurées à RK3588-S

La même courte phrase chinoise a été mesurée avec quatre threads CPU et le paramètre de volume SDK 1.0. First Chunk est l’heure d’arrivée du premier PCM ; RTF est le temps de génération divisé par la longueur audio. Source : rapport de test Winge-RK3588-S du 5 août 2026. Le petit échantillon ne constitue pas une garantie.

Tests et contenu de la livraison

• EyeAlgo-TTS-Android-AAR et Core-AAR correspondant.
• Démo APK pour la voix, le débit, le volume, la lecture, l'arrêt et l'exportation WAV.
• Inventaire Kokoro et SHA-256, WAV, journaux d'appareils, documents d'intégration et licences.

38 suites de tests / 185 cas de tests / 0 échec / 0 erreur / 0 ignoré. Les builds AAR et APK ont été réussies.

Domaines d'application

Convient pour l'évaluation des notifications de lunettes intelligentes, de la lecture OCR hors ligne, des appareils portables industriels, des alarmes d'usine, des expositions et des réseaux Android isolés. Les micrologiciels de dialogue, de texte long et de série nécessitent leurs propres vérifications de taille, de mémoire, de latence, de chaîne audio, de normalisation du texte et de stabilité.

Conditions d'intégration

• Les tests ont été Android 12 et arm64-v8a ; d'autres cibles nécessitent une vérification de compatibilité.
• L'AAR non quantifié est d'environ 354 Mio, l'APK de démonstration est d'environ 360 Mio.
• Supprimez les environnements d'exécution en conflit et définissez AudioTrack sur 24 000 Hz, mono, PCM16 little-endian.

Limites et diminution

• Statut : CUSTOMER_TEST / PAS DE PRODUCTION.
• Texte long, stabilité de huit heures, comparaison d'écoute de toutes les voix, INT8 et signature de production sont ouverts.
• Les premiers fragments P95 et RTF n'atteignent pas l'objectif initial.

Sources techniques publiques

Les identifiants vocaux, la configuration Android et la fréquence d'échantillonnage suivent la documentation sherpa-onnx-Kokoro. L'origine et la licence suivent Kokoro-82M-v1.1-zh. Les documents en amont identifient le composant mais ne constituent pas une preuve d'acceptation.

• sherpa-onnx Kokoro multi-long v1.1
• Kokoro-82M-v1.1-zh

Questions fréquemment posées

Le SDK fonctionne-t-il complètement hors ligne ?

La synthèse s'exécute localement sans cloud TTS. Le fait que la distribution initiale ou la synchronisation des données nécessite un réseau dépend du déploiement.

La voix masculine a-t-elle été testée pour RK3588-S ?

Oui. zm_009 a été généré à trois vitesses ; La latence, le temps, le RTF et l'écrêtage ont été enregistrés. Un texte long et huit heures sont en attente.

Combien y a-t-il de voix féminines chinoises ?

55 noms sont attribués et douze candidats sont générés dans la démo sur l'appareil. Il ne s’agit pas d’une diminution subjective de tous les votes.

Le rappel délivre-t-il du WAV ?

Non, il fournit des données PCM16 mono brutes de 24 kHz. Un en-tête WAV est ajouté pour le stockage.

Pourquoi ne pas être prêt pour la production ?

Le texte long, toutes les voix, la stabilité de huit heures, la signature de production et la chaîne audio client n'ont pas encore été approuvés.