Как мы тестируем Tantor Postgres для 1С от нагрузочных тестов до оптимизаций планировщика

Значимый прорыв формирует отрасль ИИ: TantorLabs 1 час назад Как мы тестируем Tantor Postgres для 1С от нагрузочных тестов до оптимизаций планировщика 14 мин 2. 6K Блог компании Тантор Лабс PostgreSQL * Тестирование IT-систем * Высоконагруженные системы * 1С * Репортаж Tantor Postgres 18 - масштабный релиз СУБД, за которым стоят месяцы тестирования, сотни часов нагрузочных прогонов и десятки исправлений, о которых пользователь никогда не узнает просто потому, что они были найдены и устранены до выхода версии. Александр Симонов, руководитель направления развития 1С в "Тантор Лабс", рассказывает, как устроен процесс тестирования изнутри, почему одного "эталонного" прогона недостаточно, что делать, когда ванильный PostgreSQL 18 ломает собственные оптимизации, и как Tantor Postgres приближается к той планке, которую MS SQL Server держал годами.

Процесс тестирования релизовРасскажите в целом, как выглядит процесс тестирования нового релиза Tantor Postgres перед выпуском? - Все начинается задолго до выпуска - мы тестируем фичи, которые войдут в 18 версию, на версии предыдущей. Разработчик берет последний релиз 17 версии, накатывает на него тестируемую фичу, и отдает нам в центр экспертизы 1С на тест.

Технические детали

Например, управление моделью оценки кардинальности мы начали тестировать еще прошлым летом. Изначально у нас было целых четыре модели для сравнения. Ранний старт тестов позволил нам провести тщательный анализ того, где хорошо, а где плохо показывает себя каждая модель оценки кардинальности, и в итоге до финального релиза дошло только две (а две другие модели показали на реальных базах 1С нестабильные результаты и были исключены).

Таким образом, мы на 17 версии проверили примерно половину фич, который вошли в версию 18. Это значительно упрощает тестирование 18 версии, ведь часть работы уже проделана. Следующий этап - тестирование alpha-версии 18й версии.

Это самый ответственный этап, ведь на поведение планировщика могут влиять изменения в ванильной версии, и нередко это происходит не в лучшую сторону. Здесь мы новую версию стабилизируем: находим ошибки и проблемы планировщика, исправляем их, чтобы убедиться что все корректно работает. Также тестируем новые фичи, которые не протестировали на 17 версии, и тестируем всё вместе, чтобы исключить конфликты и обеспечить оптимальную работу.

Отраслевые последствия

Затем выходит beta-версия 18, по сути релиз-кандидат. Как правило, alpha- и beta-версии выходят как разные минорные релизы. Мы делаем финальные прогоны нагрузочных тестов.

Цель - проверить на качество и производительность, исключить ошибки при включении всех фич и при различных вариантах настроек, убедиться, что не осталось ключевых операций, которые бы не ускорились, а замедлились. Качество и производительность мы проверяем на всех этапах. Какие именно нагрузочные тесты вы запускаете?

Что за конфигурации 1С, какое железо, сколько пользователей? Наш нагрузочный стенд и некоторые тесты уже мелькали в наших статьях по 1С.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.