ASR для AI-разработки: как я замерял качество распознавания технических терминов

Вот важная новость с фронта ИИ: antipov_dmitry 22 минуты назад Краткое содержание статьи ASR для AI-разработки: как я замерял качество распознавания технических терминов 8 мин 685 Искусственный интеллект Машинное обучение * Анализ и проектирование систем * С ноября прошлого года я отстроил себе Dark Software Factory, и большую часть разработки я делал голосом. Сначала это был просто эксперимент, но он стал быстро обрастать фишечками, разными гейтами и постепенно превратился в очень понятный и накатанный флоу сборки продуктов в баре, за рулем или пока стоишь в очереди за кофе. Глобально такие фабрики софта я бы разделил на два типа: в первом по-прежнему много людей, которым очень помогают роботы и такая фабрика может построить что угодно.

Во втором — свет в помещении выключен и весь конвейер прокатывают роботы. Люди там тоже есть, но их уже сильно-сильно меньше, и они занимаются другим: продуктом, архитектурой и эвалами. Совсем сложные продукты так не собрать, но зато здесь околонулевой интерконнект между теми, кто говорит на разных смысловых языках, полное отсутствие привычной разработки и бешеная скорость поставки.

Технические детали

Первая и важнейшая часть такой фабрики — ASR, автоматическое распознавание речи. Чем точнее голос превращается в текст, тем проще и быстрее задача влетает в конвейер, а значит и быстрее катится дальше. Без хорошего ASR ни одна фабрика на высокие обороты не выйдет.

Но ASR здесь очень коварный! Стенд и данныеВ исходном замере — 1000 голосовых записей, 20,3 часов аудио, 7 говорящих. Большая часть записей мои, но чтобы это не было бенчмарком имени меня, подлил технических аудио из открытых источников (подкастов).

Внутри — все, что касается PDLC: интерфейсы, архитектура, логика, фреймворки и прочее. Как обычно это выглядит? Дикая смесь разговорного русского и англицизмов, «ну эээээ» и заимствований, и все это приправлено капелькой мата.

Отраслевые последствия

Из 18 тысяч присутствующих уникальных словоформ я выделил 454 термина и разметил каждый в аудио. Это была легкая часть — в доэлэлэмную эпоху я несколько лет рулил разработкой большой платформы разметки, поэтому любой пайплайн подготовки данных теперь не вызывает проблем. Машина — AMD Ryzen 5 3600, 6 физических ядер, 12 потоков, около 63 ГБ выданной под этой оперативной памяти.

Все модели работали на CPU, GPU не использовался. Сравниваются варианты GigaAM, T-one и Whisper. Сам бенч достаточно классический — один прогон, качество замеряется по голден сету, предварительная чистка и запуск каждой модели с нуля.

РезультатыЭталон, %» — доля терминов, записанных точно в заданной форме; «Распознано всего» учитывает и разновидности: например «backend» и «бэкенд». WER (word error rate) и CER (char error rate) строятся относительно эталонного текста по словам и символам. RTF (real-time factor) — время распознавания, делённое на длительность аудио.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.