Giga4DQM: мультиагентный подход к расследованию качества данных на базе GigaChat

Значимый прорыв формирует отрасль ИИ: Sber 13 минут назад Giga4DQM: мультиагентный подход к расследованию качества данных на базе GigaChat Средний 15 мин 889 Блог компании Сбер Машинное обучение * Искусственный интеллект SQL * Базы данных * Туториал Giga4DQM — открытый проект, реализующий концепцию ИИ-агентов для автоматизированного расследования инцидентов с данными и построения целостной картины зависимостей в существующей БД. Система понимает вопросы на естественном языке, самостоятельно анализирует структуру базы, строит граф зависимостей и формирует диагностические запросы. Архитектура не привязана к одной СУБД: в качестве примера взята PostgreSQL, но подход может быть адаптирован к любой системе с развитым каталогом метаданных.

В основе — мультиагентная архитектура на основе GigaChat и LangGraph. Код открыт, доступен для тестирования и внедрения. ВведениеВ современных компаниях корпоративные хранилища данных играют критически важную роль, обеспечивая централизованное хранение и обработку больших объёмов информации.

Технические детали

Данные поступают из разнообразных источников: операционных систем, CRM, ERP, IoT-устройств, отражая все аспекты деятельности организации. На их основе формируется отчётность, отслеживаются KPI, оптимизируются бизнес-процессы и принимаются стратегические решения. Ценность данных напрямую зависит от их качества.

Некорректные, неполные или несвоевременные данные ведут к ошибочным выводам, финансовым потерям и репутационным рискам. Анализ и разбор инцидентов качества данных — будь то пропажа записей, аномальные значения или нарушения целостности — становятся неотъемлемой частью работы дата-команд. Скорость обнаружения и диагностики таких инцидентов напрямую влияет на операционную устойчивость бизнеса.

Инженеры и аналитики данных проектируют структуры, очищают и объединяют информацию. Однако с ростом объёмов данных и требований к скорости их обработки даже опытные команды сталкиваются с трудностями. Рутинные операции — поиск таблиц, проверка качества, выяснение взаимосвязей — требуют не только технических навыков, но и глубокого понимания архитектуры хранилища.

Отраслевые последствия

Значительное время тратится на навигацию по каталогу, выяснение происхождения данных (data lineage) и однотипные диагностические запросы. В крупных организациях с большим количеством взаимосвязанных объектов и распределёнными командами эта проблема усиливается. Традиционные подходы, документация в Confluence, ручные runbook’и плохо масштабируются и быстро устаревают.

Поэтому для решения подобных проблем применяются большие языковые модели (LLM) — GigaChat, GPT, BERT, DeepSeek. Обученные на текстах и журналах запросов, они способны автоматизировать подбор таблиц, JOIN-условий и шаблонов SQL. Мы покажем на примере PostgreSQL, как мультиагентная система на базе LLM ускоряет расследование инцидентов.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.