Когда автоматизация становится умнее: как трансформеры изменили AutoDL в Альфа-Банке

В сфере искусственного интеллекта произошло заметное событие. С вами Артемий Лямин ( @lyaminartemiy ) и Иван Тренёв ( @123-39 ). Мы работаем специалистами по разработке нейронных сетей в команде автоматизации машинного обучения Альфа-Банка.

В данной статье рассказываем, как провели масштабную модернизацию нашей внутренней AutoDL-библиотеки, пересмотрев её с самых основ. Мы покажем, какие ограничения были у предыдущей версии и почему точечные улучшения перестали работать.

Технические детали

Далее разберём архитектурные решения, которые легли в основу новой системы: переход к модульной мультимодальной трансформерной архитектуре, автоматический поиск архитектур, оптимизацию гиперпараметров, а также переосмысление пайплайна работы с данными. Отдельно остановимся на инфраструктурной части — удалённых запусках и оркестрации экспериментов.

В результате мы покажем как превратили набор разрозненных моделей в единую воспроизводимую и расширяемую AutoDL-платформу. Предлагаем пройти этот путь вместе с нами.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.