DVT — новый open source ETL (Low-Code и не только)

Вот важная новость с фронта ИИ: SergeySkirdin 55 минут назад Объяснить с DVT — новый open source ETL (Low-Code и не только) 5 мин 2K Блог компании ИТ-интегратор Белый код Data Engineering * Open source * Визуальное программирование * Базы данных * Привет! На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Я достаточно много занимаюсь интеграциями, хранилищами данных и BI, поэтому, когда ребята из «Денвик Аналитика» предложили познакомиться с новым инструментом DVT, не стал отказываться.

Что такое DVT«Денвик» начинался с «Экстрактора 1С», основная задача которого — вытащить данные из 1С в хранилище без участия программиста. Дальше логика очевидная: данные выгрузили, теперь их надо трансформировать. Так появился Denvic Visual Transformer, сокращённо DVT.

Технические детали

Изначально это был коммерческий продукт. Потом в «Денвик» решили, что он не в фокусе компании, и выложили его в open source под AGPL 3. 0: работы привычная для такого класса систем: есть рабочее поле, на него добавляются ноды, ноды соединяются в граф, а получившийся граф представляет собой pipeline обработки данных.

При этом DVT — уже не просто редактор схем. В текущей архитектуре есть отдельные сервисы исполнения, планировщик, API, мониторинг выполнения, worker'ы и механизм расширений. Проекты можно запускать по расписанию, а статус выполнения видеть непосредственно в интерфейсе.

Сам продукт разворачивается on-premise в Docker/Docker Compose, что для корпоративной среды я скорее отношу к плюсам. Что мне здесь кажется правильнымОсновная идея DVT мне нравится своей прагматичностью: если операция типовая, она должна быть типовой и с точки зрения реализации. Мне, например, совершенно не кажется обязательным писать очередные двадцать строк Python для того, чтобы прочитать CSV, переименовать несколько колонок, сделать JOIN и положить результат в PostgreSQL.

Отраслевые последствия

Особенно если через полгода другой человек должен будет открыть этот процесс и понять, что там происходит. Визуальный pipeline в этом смысле имеет большое преимущество: архитектура конкретной загрузки видна сразу. Открыл проект и видишь источник, последовательность преобразований и приёмник.

А если стандартных возможностей не хватает, DVT не пытается полностью заменить код. В платформе есть собственный Python Node DSL и механизм расширений, через который можно добавлять новые источники, преобразования и другие ноды. Отдельно хочу отметить направление с MCP.

Пока это именно эксперимент, а не готовая функция продукта, но разработчики уже показывают взаимодействие Codex с DVT через MCP. Причём речь не просто о генерации куска SQL или Python: агент получает доступ к инструментам DVT, может собрать pipeline из нод, запустить его, получить ошибку, проанализировать её и внести изменения в проект. На мой взгляд, для low-code-платформ это очень логичное направление развития.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.