«Смотря какой fabric, смотря сколько details». Как и почему LLM оказались не в состоянии перевести текст

Вот важная новость с фронта ИИ: nenkre 13 минут назад «Смотря какой fabric, смотря сколько details». Как и почему LLM оказались не в состоянии перевести текст Простой 5 мин 571 Искусственный интеллект Natural Language Processing * Ретроспектива В прошлой статье я рассказывал, как за несколько месяцев в одиночку запилил сервис генерации статей, и как он в итоге оказался комплексной платформой по работе с контентом. За эти месяцы в процессе разработки постоянно всплывали проблемы.

Что-то было связано косяками с моей стороны, а что-то — с особенностями работы LLM. Об одной из таких проблем, достаточно абсурдной и при этом с трудом поддающейся решению, я расскажу отдельно. Суть проблемыЕще на ранних этапах разработки я запустил конвейер по написанию (точнее, рерайтингу) новостей.

Технические детали

Для понимания — кратко о том, как работает новостной пайплайн: поиск новостей по определенному запросу — в данном случае из англоязычных источников (в силу тематики),парсинг текста выбранных новостей из первоисточника,глубокий рерайтинг с переводом на русский язык,финальная редактура, расстановка ссылок, парсинг картинок, и т. вплоть до постинга на сайт. Сначала все это более-менее работало — тексты, хоть и требовали небольшой редактуры, выходили нормальными.

Но буквально в один день эти тексты как будто стала писать Зоя Вексельштейн:Одно из первых проявлений проблемыТо есть, в итоговом тексте были рандомно разбросаны непереведенные слова. Не только сложные технические термины, но и достаточно простые слова. В пайплайне генерации статей эта проблема тоже встречалась.

Поиск показал, что проблему Not-Translated Words в машинном переводе пытались решить уже давно. Вот материал от 1998 года — правда, там авторы 45% таких случаев списывали на недостаточный лексикон систем перевода:Finding the Right Words: An Analysis of Not-Translated Words in Machine TranslationУчитывая объемы данных, на которых обучаются LLM, здесь дело было явно не в отсутствии слова в словаре. Простое решениеКогда проблема только появилась, я списал ее на недостаточно проработанный системный промпт.

Отраслевые последствия

Поэтому и решение на первом этапе искал внутри этого промпта. К слову говоря, процентов 20 всего времени в процессе разработки я тратил именно на промпты. Я себе запилил систему версионирования промптов + A/B тесты, где после обновления промпта прогонял его по бенчмарку 10-20 раз для более значимой статистической выборки.

И, если промпт давал желаемый результат без регрессии, принимал его. Само собой все принципы промпт-инжиниринга также использовал. Роль, задача, контекст и т.

Для ризонинг моделей — дополнительные примочки. Результат = не вышло. И пришлось задуматься о смене модели или создании дополнительного слоя «переводчика».

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.