Контекст проекта и границы публикации
Проект посвящен офлайн-синтезу речи на терминале RK3588-S. Для Android 12 arm64-v8a с обычными разрешениями реализованы упаковка модели, потоковые callbacks, управление воспроизведением, мужской и несколько женских голосов, AAR и Demo APK. WAV и метрики получены на реальном устройстве. Имена заказчика и активов удалены; публикуются только факты, проверяемые по коду, сборкам, журналам и аудио.
Инженерные цели
- Синтезировать речь локально без сети.
- Предоставить асинхронный поток PCM через Android AAR.
- Выбирать китайский мужской и несколько женских голосов.
- Поставить Demo, руководство, лицензии, WAV и протоколы.
Обработка на устройстве
Новый текст может остановить активный или ожидающий старый запрос. Неквантованная модель Kokoro загружается при создании SDK и работает на CPU RK3588-S. Выход — блоки 24 кГц, моно, PCM16 little-endian. Облачный TTS не вызывается.
- Синтезировать речь локально без сети.
- Предоставить асинхронный поток PCM через Android AAR.
- Выбирать китайский мужской и несколько женских голосов.
- Поставить Demo, руководство, лицензии, WAV и протоколы.
Поставка Android SDK
AAR предоставляет EyeTtsSdk, TtsOptions, TtsStreamCallback и TtsAudioData. replaceTextStreamAsync() останавливает старый текст и синтезирует новый; stopTts() останавливает и очищает очередь. Выход — сырой PCM, не WAV.
TtsOptions options = new TtsOptions("zm_009", 1.0f, 1.0f);
tts.replaceTextStreamAsync(text, options, callback);
// callback.onAudioChunk(... TtsAudioData audio)Мужской голос и тест на устройстве
Мужской голос проверен на устройстве. Опубликован zm_009, speaker ID 58, с одной фразой на 0,8x, 1,0x и 1,4x. Длительность 5,549, 4,363 и 3,086 секунды; все WAV 24 кГц моно PCM16 без клиппинга. Измерения не заменяют прослушивание.
Male zm_009 / 0.8x
Male zm_009 / 1.0x
Male zm_009 / 1.4x
Несколько женских голосов
SDK 0.5.1 сопоставляет 55 официальных китайских женских голосов; Demo сформировал 12 кандидатов на RK3588-S. zf_001 — открытая база сравнения. Разные длительность, пик и хеш исключают дубликаты, но не доказывают естественность или пригодность.
Female zf_001 / 1.0x
Аппаратно-программная среда
| Параметр | Значение |
|---|---|
| SoC | RK3588-S |
| OS | Android 12 |
| ABI | arm64-v8a |
| Model | Kokoro multi-lang v1.1, non-quantized |
| Runtime | sherpa-onnx 1.13.4, CPU, 4 threads |
| Output | 24000 Hz, mono, PCM16 little-endian |
Измерения на RK3588-S
| Голос / скорость | Первый PCM | Всего | Аудио | RTF | Клиппинг |
|---|---|---|---|---|---|
| Female zf_001 / 1.0x | 1572 ms | 4387 ms | 4.241 s | 1.034 | 0 |
| Male zm_009 / 0.8x | 1923 ms | 5534 ms | 5.549 s | 0.997 | 0 |
| Male zm_009 / 1.0x | 1545 ms | 4396 ms | 4.363 s | 1.008 | 0 |
| Male zm_009 / 1.4x | 1133 ms | 3201 ms | 3.086 s | 1.038 | 0 |
Одна короткая китайская фраза измерена с четырьмя потоками CPU и параметром громкости SDK 1,0. First chunk — время до первого PCM; RTF — время генерации, деленное на длительность. Источник: тест Winge RK3588-S от 2026-08-05. Малый набор не гарантирует все тексты.
Тесты и поставка
- EyeAlgo TTS Android AAR и соответствующий Core AAR.
- Demo APK для голоса, скорости, громкости, воспроизведения, остановки и WAV.
- Опись Kokoro, SHA-256, WAV, журналы, руководство и лицензии.
38 test suites / 185 test cases / 0 failures / 0 errors / 0 skipped. AAR and APK builds passed.
Сценарии применения
Подходит для оценки подсказок в умных очках, офлайн-чтения OCR, промышленных терминалов, сигнализации, выставочных устройств и Android в закрытой сети. Диалог, длинный текст и серийная прошивка требуют отдельных тестов размера, памяти, задержки, аудио, нормализации и стабильности.
Условия интеграции
- Проверены Android 12 и arm64-v8a; иные цели требуют валидации.
- Неквантованный AAR около 354 MiB, Demo APK около 360 MiB.
- Удалить конфликтующие среды и настроить AudioTrack: 24000 Гц, моно, PCM16 little-endian.
Ограничения и приемка
- Статус CUSTOMER_TEST / NOT PRODUCTION.
- Длинный текст, восемь часов, оценка всех голосов, INT8 и производственная подпись не завершены.
- First-chunk P95 и RTF не достигли исходной цели.
Открытые технические источники
ID голосов, конфигурация Android и частота следуют документации Kokoro sherpa-onnx. Происхождение и лицензия — Kokoro-82M-v1.1-zh. Документация определяет компонент, но не является приемочным доказательством.
Частые вопросы
SDK полностью офлайн?
Синтез локальный и не вызывает облачный TTS. Сеть для начальной поставки или синхронизации зависит от развертывания.
Мужской голос проверен на RK3588-S?
Да. zm_009 создан на трех скоростях с записью задержки, времени, RTF и клиппинга. Длинный текст и восемь часов не завершены.
Сколько китайских женских голосов?
SDK сопоставляет 55 имен, Demo создал 12 кандидатов на устройстве. Это не субъективная приемка всех голосов.
Callback возвращает WAV?
Нет. Он возвращает сырой PCM16 моно 24 кГц; при сохранении добавляется WAV-заголовок.
Почему не production-ready?
Не завершены длинный текст, все голоса, восемь часов, производственная подпись и аудиотракт заказчика.
Online
Phone
WeChat
Top