ETL log: как упростить работу инженеров данных. Опыт «Ленты»

Значимый прорыв формирует отрасль ИИ: akurnosov 3 минуты назад ETL log: как упростить работу инженеров данных. Опыт «Ленты» Средний 9 мин 23 Блог компании Lenta tech Data Engineering * Хранение данных * Кейс Привет, Хабр! На связи Александр Курносов, руководитель группы платформы данных, и Андрей Двинских, инженер больших данных.

Мы работаем в Lenta Tech (ИТ-бренд «Группы Лента») и занимаемся развитием и поддержкой онлайн-сервисов «Ленты». В ежедневной работе мы используем несколько инструментов. Чтобы разобраться с очередной задачей, приходится переключаться между ними, искать нужную информацию и собирать общую картину буквально по частям.

Технические детали

В какой-то момент мы поняли, что большинство таких действий повторяются каждый день. Поэтому решили собрать самые востребованные сценарии в одном внутреннем инструменте. Так появился ETL log.

Сегодня он объединяет в одном интерфейсе самые востребованные сценарии ежедневной работы команды. В статье расскажем, почему решили его создать, какие задачи он помогает решать и как устроена работа с ним. ОглавлениеС чего начинается работа командыКак задачи попадают в работуПочему появился ETL logЧто инженер видит сразу после открытия ETL logИстория ошибок: чтобы ничего не потерялось Работать с зависимостями стало прощеETL log и DataHub: тот же источник данных, но другой пользовательский сценарий Быстрые проверки PostgreSQL и ClickHouseКак ETL log помогает работать с Power BIНебольшие утилиты, которые экономят время каждый деньАрхитектура ETL logЧто в итоге получила командаВместо заключенияС чего начинается работа командыПрежде чем говорить про сам инструмент, стоит немного рассказать о том, как организована работа инженеров данных в нашей команде.

Все задачи можно условно разделить на две большие группы:Первая — запросы от пользователей внутри дата-офиса. Это могут быть новые выгрузки, доработки существующих процессов, исправление данных, предоставление доступов и другие задачи, которые приходят от аналитиков и внутренних заказчиков. Вторая группа — задачи, которые команда ставит себе самостоятельно.

Отраслевые последствия

Помимо выполнения пользовательских запросов, мы постоянно развиваем собственную платформу и поддерживаем существующие процессы. Как задачи попадают в работуЕсть несколько способов передать задачу команде. Чаще всего заявки приходят от аналитиков: по электронной почте или через Mattermost.

Используется бот, который автоматически создает тикет в Jira и переносит в него всю историю обсуждения из треда. Через ETL log, хотя этим способом в основном пользуется сама команда. Каждое утро проходит стендап, где команда разбирает новые задачи, проверяет инциденты и оценивает текущее состояние процессов.

При этом мы смотрим не только на список тикетов. Не менее важно понимать общее состояние платформы. Если какой-то процесс завершился с ошибкой или возник инцидент, который может повлиять на пользователей, об этом нужно узнать как можно раньше.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.