Открытые модели против облака: T-one, GigaAM или Deepgram: что реально тянет обычный CPU для живых субтитров в звонке

Значимый прорыв формирует отрасль ИИ: Denizen24 53 минуты назад Объяснить с Открытые модели против облака: T-one, GigaAM или Deepgram: что реально тянет обычный CPU для живых субтитров в звонке Средний 10 мин 855 Искусственный интеллект Машинное обучение * Голосовые интерфейсы * Open source * Кейс Число vCPU ничего не говорит: как я считал, нужен ли свой ASR-сервер вместо DeepgramЧто выбрать? Облако или свой сервер? Мне понадобились живые субтитры для созвонов один на один на русском языке.

Проще всего решить эту задачу через облачный API: буквально одним вызовом. Это удобный вариант, если разговоров немного, а их содержание можно передавать внешнему сервису. В моём случае всё не так однозначно: часов общения может быть много, а в разговорах встречаются чувствительные данные, которые не хотелось бы отправлять в облако.

Технические детали

Поэтому я развернул тестовый стенд и сравнил облачное распознавание речи в реальном времени с открытыми моделями на обычном сервере, только с CPU, без видеокарты. Главный результат оказался про железо, а модели тут вторичны. Один чанк акустической модели на ядре Xeon 2013 года без AVX2 стоит в 2,5 раза дороже, чем на современном Xeon с AVX2, а под полной нагрузкой разница доходит до пяти раз.

В пересчёте на дорожки это 32 против 5, но эту цифру надо читать с оговоркой о методике, о ней ниже. Считать окупаемость своего ASR по числу ядер в тарифе хостера бессмысленно. Что было нужноСейчас я тестирую и использую облачный Deepgram, и стенд нужен, чтобы понять, можно ли с него уйти.

Звонок идёт в браузере, у каждого участника свой микрофон, поэтому на сервер приходят две отдельные дорожки. Это сильно упрощает жизнь: диаризация не нужна, роль говорящего известна по дорожке. Требования к распознаванию простые:фраза должна появляться не позже чем через 2 секунды после того, как её договорили (p95);цена часа должна быть предсказуемой;аудио не должно покидать сервер в России.

Отраслевые последствия

Контекст: делаю сервис для онлайн-встреч 1-на-1 с расшифровкой: 121ai. onlineКандидатыИнструментГде работаетРежимЗачем в сравненииT-one (Т-Банк, Apache-2. 0, 71M параметров)свой CPUпотоковый, 8 кГц, чанк 300 мсосновной кандидат на онлайнGigaAM-v3 (Сбер, MIT, 220–240M)свой серверпакетный, вариант e2e ставит пунктуациючистовой текст и верхняя планка качестваVosk (ru-0.

22)свой CPUпотоковыйbaselineDeepgram nova-2 и nova-3облакооба режимаконтроль качества и ценыИз облаков в сравнении только Deepgram: для замеров я брал то, что доступно сразу, без договора и согласований. Внутри РФ есть Yandex SpeechKit, и если аудио не должно покидать страну, а свой сервер поднимать не хочется, присмотритесь к нему. Chrome Web Speech с processLocally работает только в Chrome и только на машине пользователя, это другой класс решения.

По той же причине мимо прошли две свежие on-device-новинки на базе Google EmbeddingGemma 2. Google AI Edge Foresight: экспериментальный помощник для созвонов, который всё распознаёт локально.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.