Локальный ассистент для зумов, часть 9: неделя на Nemotron

Вот важная новость с фронта ИИ: Charoiteai 9 минут назад Объяснить с Локальный ассистент для зумов, часть 9: неделя на Nemotron Средний 3 мин 109 Звук Искусственный интеллект Машинное обучение * Python * Open source * Кейс В четверг был звонок на 57 минут, восемь человек. Голоса собеседников Nemotron разметил за 7 секунд. Мой микрофон тогда ещё размечал sherpa.

Потом я прогнал эту дорожку тем же кодом ещё раз и засёк время: восемнадцать с половиной минут. Восьмую часть я выложил в вечер выката, живых встреч через новый движок тогда не было ни одной. МикрофонВ микрофон на звонке попадаю я и эхо из динамиков.

Технические детали

Эхо режет фильтр, про него было в прошлый раз. После фильтра sherpa нашёл там четыре голоса, съел 2,1 ГБ памяти, а в логе осталось владелец: не назначен. Nemotron тот же микрофон разметил за 8 секунд.

Но различать там голоса я в итоге перестал. На звонке всё, что осталось после фильтра эха, теперь моё, если речи набралось хотя бы 15 секунд. Модель просто режет её на куски.

Цену я принял: сядет рядом коллега — его реплики уйдут под моим именем. Весь разбор того звонка — стенограмма, минутки, граф — шёл 29 минут. В пятницу микрофон переехал на Nemotron, и звонок на 37 минут разобрался за восемь.

Отраслевые последствия

Он короче, но не в три с половиной раза. Откатов на sherpa из-за сбоя за неделю ни одного. Канал собеседников обычно размечается за 3–5 секунд.

Один раз вышло 10 секунд, на 26-минутном звонке. Почему — не разбирался. ЛентаВо время звонка идёт живая лента: реплики с метками Собеседник 1, Собеседник 2 и дальше.

По ней строятся подсказки. Метки ставил трекер на эмбеддингах голоса, восемь мест на встречу. Пока мерил потоковый Nemotron против трекера, вылезло неприятное.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.