TTS multi-suara offline dan Android SDK pada RK3588-S

Konteks proyek dan batas publikasi

Proyek ini menangani text-to-speech offline pada perangkat RK3588-S. Pengemasan model, callback streaming, kontrol pemutaran, suara pria dan beberapa wanita, AAR dan Demo APK diterapkan pada Android 12 arm64-v8a dengan izin aplikasi biasa. WAV dan metrik dibuat pada perangkat fisik. Nama pelanggan serta identitas aset dihapus; hanya fakta yang dapat ditelusuri dari kode, build, log dan audio yang dipublikasikan.

Tujuan rekayasa

• Menghasilkan suara secara lokal tanpa jaringan.
• Menyediakan PCM streaming asinkron melalui Android AAR.
• Memilih suara pria dan beberapa suara wanita Mandarin.
• Mengirim Demo, panduan, lisensi, WAV dan catatan uji.

Alur pemrosesan pada perangkat

Teks baru dapat menghentikan permintaan lama yang aktif atau antre. Model Kokoro non-kuantisasi dimuat saat SDK dibuat dan berjalan pada CPU RK3588-S. Keluaran berupa chunk 24 kHz mono PCM16 little-endian. Jalur sintesis tidak memanggil TTS cloud.

1. Menghasilkan suara secara lokal tanpa jaringan.
2. Menyediakan PCM streaming asinkron melalui Android AAR.
3. Memilih suara pria dan beberapa suara wanita Mandarin.
4. Mengirim Demo, panduan, lisensi, WAV dan catatan uji.

Paket Android SDK

AAR menyediakan EyeTtsSdk, TtsOptions, TtsStreamCallback dan TtsAudioData. replaceTextStreamAsync() menghentikan teks lama dan menyintesis yang terbaru; stopTts() menghentikan dan mengosongkan antrean. Keluaran adalah PCM mentah, bukan WAV.

TtsOptions options = new TtsOptions("zm_009", 1.0f, 1.0f);
tts.replaceTextStreamAsync(text, options, callback);
// callback.onAudioChunk(... TtsAudioData audio)

Suara pria dan uji perangkat

Suara pria telah diuji pada perangkat. Suara yang dipublikasikan adalah zm_009, speaker ID 58, dengan kalimat yang sama pada 0.8x, 1.0x dan 1.4x. Durasi 5.549, 4.363 dan 3.086 detik; semua WAV 24 kHz mono PCM16 tanpa clipping. Data objektif tidak menggantikan penilaian dengar.

Male zm_009 / 0.8x

Male zm_009 / 1.0x

Male zm_009 / 1.4x

Beberapa suara wanita

SDK 0.5.1 memetakan 55 nama suara wanita Mandarin resmi; 12 kandidat dibuat oleh Demo pada RK3588-S. zf_001 menjadi baseline publik. Perbedaan durasi, puncak dan hash menolak ekspor duplikat, tetapi tidak membuktikan kealamian atau kecocokan bisnis.

Female zf_001 / 1.0x

Lingkungan perangkat keras dan lunak

Hasil ukur RK3588-S

Pengukuran memakai kalimat Mandarin pendek yang sama, empat thread CPU dan parameter volume SDK 1.0. First chunk adalah waktu ke PCM pertama; RTF adalah waktu pembuatan dibagi durasi. Sumber: catatan uji Winge RK3588-S 2026-08-05. Sampel kecil bukan jaminan semua teks.

Pengujian dan hasil kirim

• EyeAlgo TTS Android AAR dan Core AAR yang sesuai.
• Demo APK untuk suara, laju, volume, putar, stop dan ekspor WAV.
• Inventaris Kokoro, SHA-256, WAV pria/wanita, log perangkat, panduan dan lisensi.

38 test suites / 185 test cases / 0 failures / 0 errors / 0 skipped. AAR and APK builds passed.

Skenario penggunaan

Dapat dievaluasi untuk kacamata pintar, pembacaan OCR offline, handheld industri, alarm peralatan, terminal pameran dan Android jaringan tertutup. Dialog, teks panjang dan firmware produksi memerlukan uji ukuran, memori, latensi, rantai audio, normalisasi dan stabilitas.

Syarat integrasi

• Target uji Android 12, arm64-v8a; target lain perlu validasi kompatibilitas.
• AAR non-kuantisasi sekitar 354 MiB dan Demo APK sekitar 360 MiB.
• Hapus runtime yang bertentangan dan atur AudioTrack 24000 Hz, mono, PCM16 little-endian.

Batas dan penerimaan

• Status CUSTOMER_TEST / NOT PRODUCTION.
• Teks panjang, stabilitas delapan jam, penilaian semua suara, INT8 dan tanda tangan produksi belum selesai.
• First-chunk P95 dan RTF belum mencapai target awal.

Referensi teknis publik

ID suara, konfigurasi Android dan laju sampel mengikuti dokumentasi Kokoro sherpa-onnx. Asal dan lisensi model mengikuti Kokoro-82M-v1.1-zh. Dokumen upstream mengidentifikasi komponen, bukan bukti penerimaan proyek.

• sherpa-onnx Kokoro multi-lang v1.1
• Kokoro-82M-v1.1-zh

Pertanyaan umum

Apakah SDK sepenuhnya offline?

Sintesis berjalan lokal tanpa TTS cloud. Kebutuhan jaringan untuk distribusi awal atau sinkronisasi tergantung rancangan penerapan.

Apakah suara pria diuji pada RK3588-S?

Ya. zm_009 dibuat pada tiga kecepatan dan dicatat latensi, waktu, RTF serta clipping. Teks panjang dan uji delapan jam belum selesai.

Berapa suara wanita Mandarin didukung?

SDK memetakan 55 nama dan Demo membuat 12 kandidat pada perangkat. Ini bukan penerimaan subjektif semua suara.

Apakah callback mengembalikan WAV?

Tidak. Callback mengembalikan PCM16 mono 24 kHz mentah; header WAV ditambahkan saat menyimpan.

Mengapa belum disebut siap produksi?

Teks panjang, semua suara, stabilitas delapan jam, penandatanganan produksi dan rantai audio pelanggan belum selesai.