Как я добавил лицо голосовому ИИ на Яндексе: Simli, Anam и проверка на iPhone

Значимый прорыв формирует отрасль ИИ: eignatiev 48 минут назад Объяснить с Как я добавил лицо голосовому ИИ на Яндексе: Simli, Anam и проверка на iPhone Средний 13 мин 839 Искусственный интеллект Голосовые интерфейсы * JavaScript * Обработка изображений * Кейс У моего голосового ИИ-администратора Айки уже были голос, сценарий разговора и работающая страница. Я хотел его добавить, сохранив Yandex Realtime: пусть новый сервис получает готовый звук и двигает под него губами. Попробовал Simli и Anam.

Лицо появилось, но вместе с ним пришлось разбираться с паузой перед ответом, запуском видео на iPhone и мобильным интернетом. А на втором персонаже, Еве, выяснилось, что убедительность портрета зависит не только от лица, но и от того, что у него за спиной. Код писал Claude Code, часть вариантов внешности по моему ТЗ генерировал Codex.

Технические детали

Решения, отбор и проверки на живом телефоне — мои. В конце сентября Google показала Gemini Live с аватаром — на Хабре уже есть обзор этого подхода. У меня задача была другая: голосовой движок уже работает, переезжать с него ради лица я не хотел.

Что было на входеАйка разговаривает с посетителями сайта прямо в браузере. Браузер держит WebSocket с нашим сервером на FastAPI, сервер — сессию с Yandex Realtime. Это интерфейс «речь в речь»: мне не нужно отдельно собирать цепочку из распознавания, текстовой модели и синтеза.

Почему Яндекс, а не OpenAI, я разбирал в прошлой статье. Для этой истории важно одно: сервер отдаёт браузеру голос кусками PCM16 на 24 кГц, событиями pcm_chunk. PCM16 — несжатый звук, в котором каждый отсчёт занимает 16 бит.

Отраслевые последствия

В обычном голосовом режиме браузер его проигрывает. Задача: добавить лицо, которое двигает губами под этот звук, пока ответ ещё приходит. Лицо, которому дают чужой голосМне не нужен был новый конвейер из распознавания, языковой модели и синтеза.

Нужна была только анимация лица. У обоих сервисов, которые я попробовал, есть такой режим: ты отдаёшь свой звук, сервис рисует под него лицо и возвращает аудио и видео по WebRTC — технологии передачи медиа в реальном времени. Ответ по-прежнему придумывает и озвучивает Яндекс.

Сервис аватара отвечает за картинку и её синхронизацию со звуком. Первая техническая мелочь — частота. Яндекс в моей конфигурации отдаёт 24 кГц.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.