Voicebox - AI фреймворк для роботи з голосом - 2026 - UA

Published: 2026-09-16

Що це таке

Voicebox — це відкритий AI-проєкт, який дає змогу працювати з голосом повністю на власному комп'ютері. Його створив у січні 2026 року Джеймі Пайн — той самий розробник, що зробив файловий менеджер Spacedrive і застосунок Spacebot. За пів року застосунок виріс із простого демо з одним двигуном синтезу до повноцінної «голосової студії».

Головна ідея проста: Voicebox хоче замінити одразу два комерційні продукти. ElevenLabs закриває «вихідну» половину голосового циклу — перетворює текст на мовлення і клонує голоси, але це платно і в хмарі. WisprFlow закриває «вхідну» половину — диктує текст у будь-який застосунок, але не вміє синтезувати мовлення. Voicebox поєднує обидві половини в одному локальному застосунку.

Станом на вересень 2026 року репозиторій набрав майже 49 тисяч зірок на GitHub, а застосунок завантажили понад 1,8 млн разів. Ліцензія — MIT, тобто код можна використовувати вільно.

Працює це так: ви говорите в мікрофон, локальна модель Whisper розпізнає мовлення, локальна мовна модель Qwen3 прибирає слова-паразити, текст вставляється у вашу програму, AI-агент формує відповідь, а голос, який ви клонували з 15-секундного запису, промовляє її вголос. Нічого не йде в хмару, нічого не коштує за символи.

Чому «локально» це важливо

Локальна робота — не просто фішка, а свідомий вибір автора. Замість тонкого клієнта, який звертається до хмарного API, Voicebox ставить весь стек нейромереж на пристрій користувача.

Що це дає на практиці:

приватність — голос є біометричними даними, і тримання його на пристрої знімає головний ризик хмарних голосових сервісів;
ціна — без платних ключів, без тарифікації за символи, без підписки на базові функції;
швидкість — немає затримки на відстань до сервера;
контроль — код відкритий, моделі можна завантажити й перевірити;
офлайн-режим — після першого завантаження моделей усе працює без інтернету.

Ціна цього підходу — вимоги до заліза. Клонування голосу працює і на ноутбуці без відеокарти, але важкі моделі на кшталт TADA 3B по суті потребують відеокарти з 8+ ГБ пам'яті.

Як розвивався проєкт

Voicebox розвивається неймовірно швидко. Ключові віхи:

Версія	Дата	Що з'явилося
v0.1.0	27 січня 2026	Перший публічний реліз: клонування голосу на Qwen3-TTS, профілі голосу, ліміт 5000 символів
v0.1.10	30 січня 2026	Перехід на MLX для Apple Silicon: транскрипція пришвидшилась приблизно з 20 до 2–3 секунд
v0.2.x	березень 2026	Архітектура з кількома двигунами: LuxTTS, Chatterbox, Chatterbox Turbo; ланцюжок аудіоефектів; підтримка CUDA, ROCm, DirectML, Docker
v0.3.0	17 березня 2026	Внутрішній рефакторинг: сервер поділили на роутери, сервіси та пакет бази даних
v0.4.0	16 квітня 2026	Найбільший реліз: додані TADA, Kokoro і Qwen CustomVoice — тепер 7 двигунів; підтримка RTX 50-ї серії (Blackwell)
v0.5.0 «Capture»	25 квітня 2026	Глобальне диктування, вкладка Captures, голосові персони, вбудований MCP-сервер

Порядок пріоритетів видно як на долоні: спочатку зробити один двигун якісним, потім розширити до семи й охопити всіх виробників відеокарт, далі закрити вхідний контур диктуванням і нарешті вбудуватися в екосистему AI-агентів через MCP.

Технічний стек

Архітектура лежить на трьох рівнях.

Рівень	Технологія	Призначення
Оболонка	Tauri (Rust)	Глобальні гарячі клавіші, вставка тексту в програми, системний трей; значно легший за Electron
Інтерфейс	React, TypeScript, Tailwind CSS	Веб-інтерфейс; стан на Zustand і React Query; плеєр на WaveSurfer.js
Сервер	Python FastAPI	REST API, реєстр TTS-двигунів, розпізнавання мовлення, база SQLite
Рантайм	MLX або PyTorch	MLX на Apple Silicon; PyTorch (CUDA, ROCm, XPU, DirectML, CPU) на решті платформ
Ефекти	Pedalboard (Spotify)	Вісім типів аудіоефектів
База даних	SQLite	Профілі голосу, генерації, записи, налаштування

Сервер FastAPI працює як «sidecar»-процес застосунку. У релізних збірках він пакується в окремий бінарник через PyInstaller, під час розробки запускається звичайним uvicorn.

Як улаштована архітектура

Voicebox — це клієнт-серверна система. Python-сервер слухає адресу 127.0.0.1:17493 і спілкується з React-інтерфейсом звичайним HTTP.

Запит проходить три рівні:

роутер — перевіряє вхідні дані й скеровує запит;
сервіс — бізнес-логіка генерації, профілів, ефектів, записів;
двигун — конкретний бекенд синтезу, до якого звертаються через спільний реєстр.

Головне архітектурне рішення — реєстр двигунів. Кожен синтезатор реалізує спільний інтерфейс TTSBackend: завантажити модель, створити голосовий промпт, згенерувати, вивантажити, перевірити стан. Метадані моделі описані в структурі ModelConfig — назва, репозиторій Hugging Face, розмір, мови, потреба в обрізанні тиші. Завдяки цьому додавання нового двигуна майже не чіпає спільний код: їх стало сім замість одного, а ядро не переписували.

Генерація асинхронна: запити шикуються в чергу і виконуються послідовно, щоб не перевантажувати GPU, а прогрес передається в інтерфейс через Server-Sent Events. Після збою застосунку черга автоматично відновлюється.

Встановлення

Застосунок доступний для macOS, Windows і Linux. Збірки публікуються на GitHub і на офіційному сайті.

Платформа	Формат	Примітки
macOS Apple Silicon	DMG / tar.gz	macOS 11+; якщо система скаржиться на «пошкоджений» застосунок, допомагає команда xattr -cr
macOS Intel	DMG / tar.gz	Працює без прискорення GPU
Windows 64-bit	MSI / setup	Windows 10+; попередження SmartScreen можна обійти через «Докладніше» і «Усе одно запустити»
Linux	Збірка з вихідників	Готових бінарників поки немає; збірка або Docker
Docker	docker compose up	Повноцінний веб-інтерфейс на порту 17493

Мінімальні вимоги: 8 ГБ оперативної пам'яті, 5 ГБ на диску, сучасний багатоядерний процесор. Рекомендовані: 16 ГБ пам'яті, 10+ ГБ диска і відеокарта NVIDIA з 8+ ГБ пам'яті.

Збірка з вихідників:

git clone https://github.com/jamiepine/voicebox.git
cd voicebox
just setup
just build

Після першого запуску двигун завантажує ваги моделі. Дані застосунку зберігаються у стандартних каталогах системи, наприклад ~/Library/Application Support/sh.voicebox.app/ на macOS. Готовність сервера показує зелений індикатор у вікні.

Клонування голосу

Клонування — головна функція. Voicebox використовує zero-shot підхід: короткого чистого запису достатньо, щоб синтезувати мовлення у цьому голосі без жодного навчання. У маркетингу фігурують «три секунди», але документація чесно рекомендує 10–30 секунд для стабільного результату.

Правила доброго зразка:

запис без музики та чужих голосів;
природний темп мовлення — без крику і шепоту;
кілька зразків у різних емоціях та умовах запису підвищують стійкість;
усі зразки мають належати одній людині;
транскрипт має точно збігатися зі сказаним.

Профіль голосу зберігає не сире аудіо, а векторні ембеддинги: це компактно і безпечно при експорті. Вибір двигуна — це вибір компромісів:

найкраща якість загалом — Qwen3-TTS 1.7B;
трохи швидше і легше — Qwen3-TTS 0.6B;
мови поза десяткою Qwen — Chatterbox Multilingual (23 мови);
виразний англійський з тегами емоцій — Chatterbox Turbo;
слабке залізо і CPU — LuxTTS;
довгі тексти (аудіокниги) — TADA 3B.

Сім двигунів синтезу

У Voicebox сім двигунів синтезу мовлення, кожен зі своєю силою.

Двигун	Розробник	Розмір	Мови	Ліцензія	Сильна сторона
Qwen3-TTS	Alibaba	0.6B / 1.7B	10	Apache 2.0	Клонування з керуванням подачею природною мовою
Qwen CustomVoice	Alibaba	0.6B / 1.7B	10	Apache 2.0	Дев'ять фірмових дикторів і стиль
LuxTTS	ZipVoice	—	Англійська	Apache 2.0	Легкий швидкий клон, 48 кГц, >150x реального часу на GPU
Chatterbox Multilingual	Resemble AI	500M	23	MIT	Найширше покриття мов
Chatterbox Turbo	Resemble AI	350M	Англійська	MIT	Паралінгвістичні теги для емоцій
TADA	Hume AI	1B / 3B	8	Ліцензія Llama 3.2	Довгі зв'язні тексти, 700+ секунд
Kokoro	hexgrad	82M	8	Apache 2.0	Мініатюрна модель з 50 готовими голосами

Qwen3-TTS

Сімейство моделей від команди Qwen з Alibaba Cloud, випущене 22 січня 2026 року, навчене на понад п'яти мільйонах годин мовлення. Архітектура — двотокенізаторна: акустичні токени на 25 Гц і нижчочастотні на 12 Гц, що дають перше аудіо вже за 97 мілісекунд і уможливлюють потокову генерацію.

Сімейство має три напрями: Base (клон за три секунди), CustomVoice (дев'ять фірмових тембрів) і VoiceDesign (створення голосу з текстового опису, у планах). Підтримується десять мов: китайська, англійська, японська, корейська, німецька, французька, російська, португальська, іспанська та італійська. На бенчмарку Seed-TTS модель 1.7B набирає WER 0,77 для китайської і 1,24 для англійської, а за схожістю голосу (SIM) — 0,829 проти 0,613 у ElevenLabs, що промовисто свідчить про якість клонування.

Qwen CustomVoice

Працює без еталонного запису. Дев'ять готових персонажів, кожним можна керувати звичайними інструкціями: «говори повільно і тепло», «шепотом, інтимно і близько»:

Vivian — дзвінкий молодий жіночий голос, китайська;
Serena — теплий ніжний жіночий голос, китайська;
Uncle Fu — низький оксамитовий чоловічий, китайська;
Dylan — молодий голос із пекінським діалектом;
Eric — жвавий голос із сичуаньським діалектом;
Ryan — динамічний чоловічий, англійська;
Aiden — сонячний американський голос;
Ono Anna — грайливий жіночий, японська;
Sohee — теплий жіночий, корейська.

Моделі 1.7B потрібно близько 3,5 ГБ на диску і приблизно 6 ГБ відеопам'яті.

LuxTTS

Дистиляція ZipVoice до чотирьох кроків інференсу. Цифри: вихід 48 кГц (більшість двигунів — 24 кГц), швидкість понад 150x швидше за реальний час на GPU, приблизно ~1 ГБ відеопам'яті і ~300 МБ файл. Використовує власний вокодер на базі Vocos. Оптимальний вибір для швидких експериментів на слабкому залізі.

Chatterbox Multilingual

Модель V3 на 500 мільйонів параметрів підтримує 23 мови, зокрема арабську, данську, німецьку, грецьку, англійську, іспанську, фінську, французьку, іврит, хінді, італійську, японську, корейську, малайську, нідерландську, норвезьку, польську, португальську, російську, шведську, суахілі, турецьку та китайську. V3 покращує схожість голосу і менше галюцинує, ніж V2. Chatterbox також несе нейронний водяний знак Perth, який витримує стиснення MP3 і майже стовідсотково виявляється.

Chatterbox Turbo

Версія на 350 мільйонів параметрів для низької затримки у голосових агентах. Її фішка — паралінгвістичні теги прямо в тексті: [laugh], [chuckle], [gasp], [cough], [sigh], [groan], [sniff], [shush], [clear throat]. Фраза «Привіт, Саро! [chuckle] Є хвилинка глянути на збірку?» змусить модель усміхнутися в потрібному місці. Є і ще менша Chatterbox-Nano (110M), яка працює втричі швидше за реальний час на восьми ядрах CPU.

TADA

TADA (Text-Acoustic Dual Alignment) — відкрита мовна модель від Hume AI, випущена в березні 2026 року на базі Meta Llama 3.2. «Подвійне вирівнювання» означає, що кожен авторегресивний крок прив'язаний до одного текстового токена і динамічно визначає його тривалість і просодію — без фіксованої частоти кадрів, а отже, і без дрейфу та галюцинацій, типових для таких моделей.

Ключові цифри:

до 700+ секунд зв'язного аудіо без дрейфу;
runtime factor близько 0,09 на H100 із кешованими промптами;
270 тисяч годин навчання для 1B і 900 тисяч для 3B;
близько 9 ГБ відеопам'яті у форматі bf16 для 3B;
кешування промптів — кодуєш один раз, використовуєш багаторазово;
вісім мов у мультимовному релізі 3B.

Версія 1B — лише англійська. 3B підтримує англійську і сім додаткових мов. Оскільки TADA побудована на Llama 3.2, для завантаження потрібно спершу прийняти ліцензію базової моделі на Hugging Face.

Kokoro

Найменший двигун: 82 мільйони параметрів і ~350 МБ на диску, але якість порівнянна з набагато більшими системами. Архітектура на основі StyleTTS 2, озвучення через бібліотеку misaki. Працює в реальному часі на CPU з мізерним споживанням відеопам'яті і має 50 готових голосів для восьми мов. Найлегший спосіб почати роботу, особливо без відеокарти.

Готові голоси

Крім клонування, є понад п'ятдесят готових дикторів.

Kokoro дає курований каталог на вісім мов: американська і британська англійська, іспанська, французька, хінді, італійська, японська, португальська і китайська. В американській англійській — жіночі голоси (Alloy, Aoede, Bella, Heart, Jessica, Kore, Nicole, Nova, River, Sarah, Sky) і чоловічі (Adam, Echo, Eric, Fenrir, Liam, Michael, Onyx, Puck); у японській секції — Alpha, Gongitsune, Nezumi, Tebukuro. Стилі в Kokoro зашиті в голоси, тому теги інструкцій не застосовуються.

Qwen CustomVoice додає дев'ять фірмових дикторів з повним текстовим керуванням стилем. Готові профілі прив'язані до свого двигуна: під час перемикання інтерфейс сам повертається до джерела. Експорт такого профілю зберігає лише метадані «двигун + ідентифікатор голосу».

Диктування

Диктування — це відповідь Voicebox на WisprFlow, з'явилося у v0.5.0. Тримаєте гарячу комбінацію де завгодно в системі, говорите, відпускаєте — і готовий текст опиняється в полі вводу, яке мало фокус.

Стандартні комбінації: права Command + Option на macOS і права Ctrl + Shift на Windows. Два режими:

push-to-talk — запис триває, доки натиснуті клавіші;
toggle-to-talk — натискання «Пробілу» під час утримання перетворює утримання на режим перемикання без розриву аудіо.

Під час запису висить плаваюча пілюля з хвилею сигналу і таймером. Після відпускання вона проходить стани «Транскрибуємо» і «Уточнюємо текст», після чого текст вставляється у цільове поле. Фокус фіксується на початку запису, тому навіть якщо ви перемкнули вікно, вставка станеться у вихідний застосунок.

Технічно на macOS автовставка використовує низькорівневий CGEventPost і повторну активацію програми через NSRunningApplication; на Windows — SendInput із правильними скан-кодами і рукостисканням AttachThreadInput, щоб обійти блокування фокуса. Для автовставки потрібні спеціальні можливості на macOS та права адміністратора на Windows; без них транскрипт потрапляє у вкладку Captures. Буфер обміну зберігається і відновлюється, тож вміст не втрачається.

Розпізнавання мовлення (Whisper)

Розпізнавання побудоване на Whisper від OpenAI у п'яти розмірах.

Модель	Параметри	Розмір	Призначення
Whisper Base	74M	~300 МБ	Швидка і точна на чистому мовленні
Whisper Small	244M	~500 МБ	Найкращий баланс
Whisper Medium	769M	~1,5 ГБ	Висока якість
Whisper Large	1.5B	~3 ГБ	Максимальна точність, повільна на CPU
Whisper Turbo	809M	~1,5 ГБ	Якість Large за подвійної швидкості

Усі розміри підтримують 99 мов. На Apple Silicon реалізація MLX приблизно у вісім разів швидша за PyTorch: типовий кліп транскрибується за дві-три секунди замість двадцяти. Для записів коротших за п'ять секунд автовизначення мови може помилятися, тому в налаштуваннях є підказка і блокування мови. Whisper також забезпечує REST-точку /transcribe.

Навіть якісний розпізнавач залишає брудний текст — і саме тут у гру входить локальна мовна модель.

Локальна мовна модель (Qwen3)

Voicebox включає Qwen3 від Alibaba у трьох розмірах: 0.6B (~400–500 МБ, за замовчуванням), 1.7B (~1,1–1,4 ГБ) і 4B (~2,5 ГБ). Дві задачі: уточнення транскриптів і голосові персони.

Уточнення лагодить класичні проблеми розпізнавання:

прибирає слова-паразити (ну, це, типу, як би);
усуває самовиправлення й обірвані фрази;
розставляє розділові знаки і великі літери;
придушує «петлеві» галюцинації Whisper, коли він повторює фразу до кінця кліпу.

При цьому модель зберігає технічні ідентифікатори на кшталт npm install і не переказує зміст. Повтори менше шести однакових токенів вважаються легітимними. Прапори уточнення зберігаються для кожного запису окремо, тому сирий транскрипт можна уточнити повторно з іншими налаштуваннями. На Apple Silicon Qwen3 працює через MLX із 4-бітною квантизацією, на решті платформ — через PyTorch, ділячи кеш і VRAM із TTS/STT-рантаймами.

Голосові персони

Персони перетворюють будь-який профіль голосу на персонажа. До профілю — клонованого чи готового — можна прикріпити до 2000 символів вільного текстового опису, який буде промптом для локальної LLM. З персоною з'являються дві кнопки:

Compose — модель генерує свіжу репліку «в характері» без вихідного тексту;
Speak in character — ваш текст переписується в характері перед синтезом; зміст зберігається, змінюється подача.

Канонічний приклад з документації — детектив у нуарі: втомлений, цинічний, у кожній ситуації бачить метафору злочину і міста. Фраза «збірка готова, викатили в прод» у його виконанні може перетворитися на похмурий монолог про корабель, що покидає док.

Compose працює на високій температурі для різноманітності, Rewrite — на низькій для точності. Вихід моделі — лише мова: без сценічних ремарок на кшталт «зітхає», без markdown. Розробники попереджають: довгі описи працюють гірше за ємні — ~300 символів із двома-трьома прикладами реплік кращі за простирадло тексту.

Captures (записи)

Вкладка Captures — архів пар «аудіо + транскрипт»: усі диктування, записи з мікрофона і завантажені файли (WAV, MP3, M4A, WebM, OPUS, FLAC). Кожен запис зберігає оригінальне аудіо і текст разом.

Вкладка вміє:

переглядати волноформу і слухати запис;
редагувати транскрипт просто в інтерфейсі;
перемикатися між сирим та уточненим текстом;
повторно транскрибувати будь-якою моделлю Whisper;
повторно уточнювати з іншими прапорами;
відтворювати запис будь-яким клонованим голосом;
перетворювати запис на зразок для клонування;
копіювати транскрипт або відправляти його AI-агенту;
шукати по тексту транскриптів.

Записи коротші за 300 мілісекунд відкидаються як випадкові.

Інтеграція з AI-агентами (MCP)

Найбільш своєрідна фіча — вбудований сервер за протоколом Model Context Protocol, з'явився у v0.5.0. Будь-який агент, що розмовляє MCP — Claude Code, Cursor, Cline, Windsurf, VS Code — може заговорити вашим клонованим голосом одним викликом інструмента.

Сервер слухає http://127.0.0.1:17493/mcp за транспортом Streamable HTTP. Для клієнтів, що вміють лише stdio, є перехідний бінарник voicebox-mcp.

Підключення Claude Code однією командою:

claude mcp add voicebox \
  --transport http \
  --url http://127.0.0.1:17493/mcp \
  --header "X-Voicebox-Client-Id: claude-code"

Для інших клієнтів — конфіг:

{
  "mcpServers": {
    "voicebox": {
      "url": "http://127.0.0.1:17493/mcp",
      "headers": { "X-Voicebox-Client-Id": "cursor" }
    }
  }
}

Вбудовані інструменти:

voicebox.speak — озвучити текст обраним профілем;
voicebox.transcribe — розпізнати мовлення з файлу;
voicebox.list_captures — останні записи з транскриптами;
voicebox.list_profiles — список профілів голосу.

Приклад виклику speak:

await voicebox.speak({
  text: "Деплой завершено, тести пройшли.",
  profile: "Морган"
});

Пріоритет вибору голосу: явно вказаний профіль, потім персональна прив'язка агента, потім глобальний голос за замовчуванням. Безпека на рівні MCP побудована на принципі «без тихих голосів»: будь-яке мовлення агента супроводжується плаваючою пілюлею з ім'ям профілю і таймером. Для всього, що не розмовляє MCP, є REST-обгортка POST /speak.

REST API

Кожен завантажений двигун стає локальним REST-ендпоінтом. Без ключів, без лімітів, без оплати за символи. Ключові маршрути:

Метод	Шлях	Призначення
GET	/health	Стан сервера та моделей
GET	/profiles	Список профілів голосу
POST	/profiles	Створити профіль
GET	/profiles/{id}	Профіль за ID
PUT	/profiles/{id}	Оновити профіль, зокрема персону
DELETE	/profiles/{id}	Видалити профіль
POST	/profiles/{id}/samples	Додати зразок голосу
POST	/profiles/{id}/compose	Згенерувати репліку в характері
POST	/generate	Генерація мовлення з тексту
POST	/generate/{id}/status	Статус генерації
POST	/generate/{id}/cancel	Скасувати генерацію
POST	/transcribe	Розпізнати мовлення з файлу
POST	/speak	Озвучити текст (обгортка для агентів)
GET	/history	Історія генерацій
GET	/history/{id}	Одна генерація
GET	/models/status	Стан моделей і кешу
POST	/models/load	Завантажити модель у пам'ять
POST	/models/unload	Вивантажити модель
POST	/models/download	Завантажити модель
GET	/stories	Список історій
POST	/stories	Створити історію

Приклад генерації через curl:

curl -X POST http://127.0.0.1:17493/generate \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Ласкаво просимо до гри, гравцю перший.",
    "profile_id": "b3f1c2d4-5e6f-4a7b-8c9d-0e1f2a3b4c5d",
    "engine": "qwen_custom_voice",
    "instruct": "тепло, повільно, кінематографічно"
  }' \
  --output line.wav

Інтерактивна документація OpenAPI доступна на http://127.0.0.1:17493/docs.

Аудіоефекти

Після генерації голос можна обробити ланцюжком з восьми ефектів на базі Pedalboard від Spotify.

Ефект	Параметри	Застосування
Pitch Shift	від -12 до +12 півтонів	Зміна висоти тону
Reverb	розмір приміщення, демпфування, dry/wet	Простір
Delay	затримка 10 мс – 2 с, зворотний зв'язок	Луна
Chorus / Flanger	частота, глибина, затримка	Металічний або пишний тембр
Compressor	поріг, співвідношення, атака, реліз	Динаміка
Gain	від -40 до +40 дБ	Гучність
High-Pass	від 20 до 8000 Гц	Прибрати низькі частоти
Low-Pass	від 200 до 20000 Гц	Прибрати високі частоти

Ефекти збираються в ланцюжки, зберігаються як пресети (місткі: Robotic, Radio, Echo Chamber, Deep Voice) і призначаються профілю за замовчуванням. У кожної генерації можуть бути кілька версій: чистий оригінал завжди зберігається, а оброблені версії простежуються до джерела.

Редактор історій (Stories)

Многодоріжковий таймлайн для створення багатоголосих оповідань: подкастів, аудіокниг, діалогів для ігор, озвучки відео.

Робочий процес:

створення історії і окремої доріжки для кожного мовця;
перетягування кліпів з історії генерацій або генерація прямо на таймлайні;
імпорт зовнішнього аудіо до 200 МБ;
обрізання кліпів перетягуванням країв, розділення;
регулювання гучності кожного кліпа від 0 до 200%;
експорт і рендер фінального міксу.

У планах — редагування на рівні слів, кросфейди, реверберація та еквалайзер на доріжках, спільна робота в реальному часі.

Віддалений режим

Важкі обчислення можна перенести на іншу машину з потужнішим GPU: сервер працює там, а десктоп-застосунок стає тонким клієнтом. Підходить власникам ноутбуків, орендарям хмарних GPU (AWS EC2, Vast.ai, RunPod) і власникам домашніх серверів.

Налаштування сервера:

git clone https://github.com/jamiepine/voicebox.git
cd voicebox/backend
pip install -r requirements.txt
pip install --no-deps chatterbox-tts
pip install --no-deps hume-tada
pip install git+https://github.com/QwenLM/Qwen3-TTS.git
uvicorn main:app --host 0.0.0.0 --port 17493

Клієнт підключається, вказавши адресу сервера. Орієнтовні швидкості: RTX 4090 — 2–3 секунди на десять слів; RTX 3090 — 3–4 с; RTX 3060 — 5–7 с; потужний 12-ядерний CPU — 20–30 с.

Оскільки вбудованої автентифікації немає, віддалений сервер треба захищати: VPN (WireGuard, Tailscale), проксі з паролем, HTTPS і обмеженням за IP.

Прискорення на GPU

Voicebox підтримує всі ключові апаратні платформи.

Платформа	Бекенд	Примітки
macOS Apple Silicon	MLX (Metal)	Прискорення 4–5x через Neural Engine; Whisper у вісім разів швидший за PyTorch
macOS Intel	PyTorch CPU	Без GPU
Windows + NVIDIA	PyTorch CUDA (cu128)	Бекенд завантажується автоматично
Windows + Intel Arc	PyTorch XPU (IPEX)	Серії A і B; близько 2–3x відносно CPU
Windows (інші GPU)	DirectML	Універсальний фолбек
Linux + NVIDIA	PyTorch CUDA	Локальний або віддалений сервер
Linux + AMD	PyTorch ROCm	Налаштування через HSA_OVERRIDE_GFX_VERSION
Будь-яка	PyTorch CPU	Працює всюди, у 5–50 разів повільніше за GPU

Підтримка RTX 50-ї серії (Blackwell) потребувала переходу на CUDA cu128 і збірки з прапором sm_120+PTX. Windows-версія розділена на ядро (~200–400 МБ) і окремий CUDA-бекенд (~4 ГБ), який завантажується лише за наявності відеокарти NVIDIA. Для AMD ROCm за потреби задається HSA_OVERRIDE_GFX_VERSION: 10.3.0 для RX 6000 (RDNA 2), 11.0.0 для RX 7000 (RDNA 3), 9.0.0 для Vega.

Керування моделями

Вбудований менеджер моделей показує для кожної моделі стан завантаження, розмір і наявність у кеші. Можна завантажувати у фоновому режимі з прогресом, завантажувати і вивантажувати моделі для звільнення пам'яті без видалення файлів, повністю видаляти. Кеш за замовчуванням — каталог Hugging Face (~/.cache/huggingface/hub), який можна перенаправити змінною VOICEBOX_MODELS_DIR. Перша генерація після встановлення може тривати дві-п'ять хвилин, бо тягне ваги — від ~350 МБ (Kokoro) до ~8 ГБ (TADA 3B).

Порівняння з конкурентами

Voicebox проти ElevenLabs

Параметр	ElevenLabs	Voicebox
Ціна	Безкоштовний тариф з кредитами, далі 5–990 $/міс	Безкоштовно назавжди
Ціна API	Близько 0,36 $ за 1000 символів на дешевих тарифах	Безкоштовний локальний REST API
Клонування	Від 1 хвилини (Instant) або 30 хвилин (Professional)	Zero-shot з 3–30 секунд
Мови	Понад 32	До 23 на найширшому двигуні
Приватність	Аудіо йде в хмару	Усе зостається локально
Диктування	Немає	Вбудоване
Інтеграція з агентами	Немає	Вбудований MCP-сервер
Ліцензія	Проприєтарна	MIT

ElevenLabs лишається еталоном для довгої наррації, але в тестах схожості голосу Qwen3-TTS зараз виграє (0,829 проти 0,613 SIM на англійській), а для повсякденних задач відкрита альтернатива практично не поступається.

Voicebox проти WisprFlow

Параметр	WisprFlow	Voicebox
Ціна	Обмежений безкоштовний тариф, Pro ~12 $/міс	Безкоштовно
Якість диктування	Прибирання паразитів, форматування, до 220 слів за хвилину	Whisper + уточнення локальною LLM
Мови	Понад 100	99 (Whisper)
Платформи	Mac, Windows, iOS, Android	Mac, Windows, Linux (Docker)
Синтез мовлення	Немає	Сім двигунів
Приватність	Хмара, сертифікації SOC 2 і HIPAA	Повністю локально

WisprFlow сильний у відшліфованому форматуванні і мобільних застосунках. Voicebox виграє за сумарною вартістю, приватністю і тим, що закриває обидві половини циклу — користувач, який раніше платив за обидва інструменти, економить близько 34 $ на місяць.

Ціни і бізнес-модель

Базова функціональність безкоштовна назавжди, без акаунта. Клонування, диктування, усі двигуни, MCP, персони і необмежені локальні генерації не обмежені.

Платні опції не блокують функції:

Cloud — ~12 $ на рік: шифровані бек-апи, синхронізація, 25 ГБ сховища, п'ять пристроїв;
Studio — ~48 $ на рік: все з Cloud, 250 ГБ сховища, безліміт пристроїв, пріоритетна підтримка.

Обидві позначені «незабаром». Оплата через Stripe (картки) і Solana Pay (USDC/SOL), причому криптовалютні підписки не продовжуються автоматично. Позиціювання явне: підписки додають лише необов'язкові бек-апи і синхронізацію і ніколи не блокують базові функції.

Конфіденційність і безпека

Приватність — це і є продукт. Десктоп-застосунок працює офлайн, не потребує акаунта і не передає розробнику записи, профілі, транскрипти, генерації та налаштування. Політика конфіденційності прямо говорить, що використання застосунку не передбачає збору персональних даних.

Принципи:

моделі, аудіо, транскрипти і вивід LLM ніколи не покидають машину;
хмарні бек-апи шифруються на пристрої до завантаження — сервер зберігає лише щільний текст;
компанія не має ключів дешифрування і не може прочитати дані навіть за законом;
хмарний режим не обов'язковий — хмара завжди опційна;
команда ухвалила політику відповідальності за використання клонованих голосів.

Сервер прив'язаний до localhost і не має вбудованої автентифікації: безпека розрахована на однокористувацьку локальну модель. Для віддаленого розгортання документація вимагає VPN, захищений проксі та HTTPS; автентифікація за bearer-токеном у дорожній карті. Оновлення підписуються криптографічно і перевіряються перед встановленням; пошкодження бази даних стирає профілі, якщо їх не експортували заздалегідь.

Відповідальне використання і Voice ID

У репозиторії лежить явний документ про відповідальне використання. Дозволено: клонувати власний голос, голоси з явної згоди, ліцензований і вільний від прав матеріал, застосовувати технологію для доступності, ігор, подкастів і прототипів. Заборонено: видавати себе за інших без згоди, шахрайство, фішинг, соціальна інженерія, обхід голосової біометрії, погрози, переслідування, недобровільний дорослий контент, а також введення в оману в політичних, юридичних, фінансових, медичних і екстрених комунікаціях. Комерційне використання — лише за наявності законного права.

Для хмарних поверхонь — Voicebox Cloud, Voice ID і публікації кліпів — у липні 2026 року введено повноцінну систему згоди. Voice ID дає власнику голосу підтвердити право на запис і видавати відкличні «гранти» з умовами: допустимий контент, канали, термін дії, політика відкликання. Грант і його статус зберігаються на блокчейні Solana як криптографічні зобов'язання (аудіо та ембеддинги в ланцюг не записуються). Відкликання гранту будь-якої миті зупиняє генерацію і публікацію нового аудіо на поверхнях Voicebox. Реєстрація приймає лише власний голос: заявки на чужі голоси, синтетичне чи перезаписане аудіо відсіюються перевірками на підміну і синтетику.

Межі системи описані чесно: зіставлення ймовірнісне і не безпомилкове, а перевірки покривають лише поверхні, якими керує Voicebox. Відкритий десктоп-застосунок генерує аудіо локально і технічно не може бути «замкнений» на рівні Voice ID — це добровільний стандарт згоди і публікації, а не технічне блокування офлайн-генерації.

Дорожня карта

Пріоритети з відкритого документа PROJECT_STATUS (стан на липень 2026 року):

Найближче:

стабільність і якість: збої генерації, обрив диктування на 30 секунд, проблема уточнення англійською;
більше підтримки Blackwell і AMD ROCm;
продовження локалізації інтерфейсу;
зняття ліміту 50 000 символів на генерацію.

Заплановані функції:

трирівнева система двигунів — експериментальні окремо від перевірених;
платформне гейтування моделей;
вкладка аудіокниг;
користувацькі моделі Hugging Face;
API, сумісний з OpenAI;
потокова транскрипція через WebSocket;
голос-в-голос (RVC);
довгі записи з двох потоків (мікрофон і системне аудіо).

Кандидати на додавання: MOSS-TTS (зокрема Nano), Pocket TTS від Kyutai, IndicF5, VibeVoice від Microsoft, Voxtral від Mistral, Fish Speech S2; з розпізнавання — Nemotron ASR, Cohere Transcribe, Parakeet v3. На контролі якості: потокові мовні LLM Moshi, GLM-4-Voice, Qwen2.5 Omni, а також голос-із-опису і мобільний застосунок.

Критика та обмеження

«клон за три секунди» — маркетингове спрощення: документація радить 10–30 секунд чистого аудіо;
ліцензія MIT покриває код застосунку, але кожна модель має власні умови (TADA вимагає прийняття ліцензії Llama 3.2);
згода Voice ID охоплює лише публікацію та хмарні сервіси: локальна генерація не блокується, зіставлення ймовірнісне, журнали аудиту поза грантами не ведуться;
на довгому професійному матеріалі ElevenLabs ще може виграти;
немає готової збірки для Linux — потрібні Docker або збірка з вихідників;
Windows місцями шорсткий у визначенні GPU;
уточнення інколи перекладає текст англійською — виправляють;
перше завантаження моделей (до 8 ГБ) повільне на слабкому каналі.

Користувачі також скаржаться на перегрів відеокарт при масовій генерації, затримки на CPU без GPU і конфлікти порту 17493 при паралельному запуску двох екземплярів.

Сценарії використання

Заміна ElevenLabs для незалежного продюсера

Продюсер, який платив 22–99 $ на місяць ElevenLabs і 12 $ WisprFlow, переносить увесь голосовий контур на Voicebox: 20 секунд запису, клон на Qwen3-TTS 1.7B, обробка пітчем і компресією, публікація. Економія — приблизно 400–1200 $ на рік; ціна — пристойна відеокарта і готовність налаштовувати.

Озвучка NPC для інді-гри

Студія з трьох людей озвучує текстову пригоду через Chatterbox Turbo із тегами [laugh] і [sigh] для емоцій. Три персонажі — жіночий, чоловічий, дитячий — створюються за вечір, а REST API генерує аудіо на льоту прямо з ігрового движка.

Агент-асистент зі своїм голосом

Розробник вбудовує Voicebox у Claude Code через MCP. Коли агент завершує збірку, він не просто пише «Готово» в термінал, а промовляє це голосом персони «Морган»: теплий низький чоловічий тембр з легким гумором. Час від команди до мовлення — чотири секунди.

Аудіокнига з щоденних нотаток

Письменник щоранку диктує думки, а ввечері збирає аудіоверсію на таймлайні Stories голосом Kokoro і легкою реверберацією. Конвеєр асинхронний: вхід уранці, вихід увечері.

Казка на ніч для двомовної сім'ї

З клонованим голосом батька і Chatterbox Multilingual сім'я створює одну й ту саму коротку казку двома мовами з різним темпом для різних слухачів.

Поширені запитання

Чи працює Voicebox на Linux?

Так, через Docker або збірку з вихідників. Готового інсталятора поки немає, але серверний режим повний: клонування, генерація, диктування, REST API і MCP працюють.

Який двигун обрати для початку?

Kokoro: 350 МБ, працює на CPU без GPU. Для клонування власного голосу — Qwen3-TTS 1.7B. Для довгих текстів — TADA 3B.

Чи небезпечно клонувати чийсь голос?

Технічно Voicebox не обмежує кількість голосів, а десктоп-застосунок не має примусової перевірки згоди офлайн. Відповідальність — на користувачі; Voice ID дає інфраструктуру згоди для хмарних поверхонь. Дотримуйтесь закону і документа про відповідальне використання.

Чи потрібен інтернет після встановлення?

Ні. Після першого завантаження моделей диктування, генерація, ефекти, MCP і REST API працюють повністю офлайн.

Як Voicebox заробляє гроші?

Базовий застосунок безкоштовний назавжди. Опції Cloud і Studio додають шифровані бек-апи і синхронізацію. Компанія не продає дані і не використовує аудіо для навчання.

Що стається з моїм аудіо після генерації?

Все зберігається локально в SQLite: профілі, аудіо, транскрипти, версії. Нічого не завантажується на зовнішні сервери. Хмарний бек-ап, якщо включений, шифрується на пристрої до завантаження.

Підсумок

Voicebox — рідкісний відкритий проєкт, який закриває весь голосовий цикл локально: сім двигунів синтезу, п'ять розмірів Whisper, локальна LLM для уточнення і персон, системне диктування, редактор історій, REST API, аудіоефекти та інтеграція з AI-агентами через MCP.

Його сильні сторони: приватність архітектурою, назавжди безкоштовна ціна, єдиний цикл від сказаного слова до синтетичної відповіді, дружність до агентів, підтримка всіх основних GPU і ліцензія MIT. Обмеження: немає готової Linux-збірки, згода охоплює публікацію, але не локальну генерацію, свої умови в кожної моделі та реальний апетит до відеопам'яті.

Для тих, хто готовий проміняти хмару на суверенність, Voicebox сьогодні — найкраща безкоштовна заміна ElevenLabs плюс WisprFlow і один із найясніших сигналів, що локальний голосовий AI нарешті прийшов.

Посилання

Офіційні ресурси:

Двигуни та джерела:

Огляди та публікації:

×

← В главную