Нейросеть-автопилот вместо 400 Playwright-тестов

Значимый прорыв формирует отрасль ИИ: badattech 9 минут назад Нейросеть-автопилот вместо 400 Playwright-тестов Средний 10 мин 195 Тестирование IT-систем * Разработка игр * Искусственный интеллект TypeScript * Кейс Продолжаю цикл статей из мира соло-разработки больших систем. Первый месяц создания игры - медовый. Баги видны почти сразу, работа спорится.

Но потом начинается настоящая работа. Баги становятся очень неприятными, когда ты находишь их после двух часов игры. Например, когда на 1066-й день игры внезапно рушится экономика.

Технические детали

К этому моменту мне и самому надоела рутина - голыми руками проходить сценарии, и я начал искать способ как подрядить на это нейронку. “Протестируй визуально” работает только с квадратно-гнездовыми интерфейсами и HTML. Чуть более сложный UI (knob-ы, слайдеры, пунктиры) считывается с трудом.

Самый навороченный CLIP Vision уже кое-как умеет распознавать даже сложные цепочки эффектов в аудиоредакторе. К сожалению, с непростительными ошибками, в играх он тем более разочаровывает. Как нельзя скормить нейросети изображение игрового интерфейса чтобы она сделала один в один, так она и не понимает, что на картинке происходит.

В проекте уже было четыре сотни Playwright-тестов, но этого было мало - нужно было находить экономический дисбаланс и прочие глюки сложной системы. Просто кликать, отправлять скриншот и данные на анализ нейросети, принимать решение, кликать куда-то ещё - процесс долгий и достаточно подробно описан в научных исследованиях. Вердикт - такое тестирование даже вроде как работает, но медленно и дорого.

Отраслевые последствия

Итак, что мы имеем после недели вечеров погружения в ML для тестирования. ПациентПодопытный - браузерная космическая стратегия с открытым миром в духе старых “Космических рейнджеров”: TypeScript, PixiJS 8, процедурная галактика, торговля, банк, квесты, боёвка и захватывающий галактику ИИ-противник (Овермайнд). То есть игра не набор экранов, а связная экономико-боевая система, где баги баланса видны только на длинной дистанции.

Классическая пирамида тестов у меня к этому времени уже была, причём 5115 тестов в три яруса:Юнит-тесты на чистые функции (Vitest, всё замокано);Playwright-тесты на реальном движке - ловят баги интеграций между компонентами (застаблен только PixiJS);Playwright E2E - headless-браузер, реальные клики, реальный рендеринг, ловит интерактивные и визуальные баги. И вся эта пирамида была бессильна против вопросов вида “а не выгоднее ли просто положить стартовый капитал на депозит и ждать? ” или “почему в первые три дня выходит сообщение что галактика захвачена и вы проиграли?

”Диалог, с которого всё началосьОчередной раз сев за проект, я задался вопросом: а зачем я всё-таки подключил onnxruntime-web на 129Mb? Годной модели под игру (предполагались ИИ-текстовые квесты) я так и не нашел. Прежде чем его выпиливать, вступил в диалог с ассистентом:Давай придумаем, как использовать onnx-runtime.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.