Работает, но не готово: definition of done для ИИ-систем

Значимый прорыв формирует отрасль ИИ: n_cto 21 минуту назад Работает, но не готово: definition of done для ИИ-систем Простой 8 мин 600 Управление разработкой * Машинное обучение * Управление проектами * Кейс Три моих ИИ-проекта живут в проде от полугода до двух лет. Месяц назад я попробовал ответить, готов ли хоть один, и не смог. Агентом, который пишет SQL, аналитики пользуются каждый день, руками SQL почти не пишут.

Ассистент поддержки выдаёт операторам черновики на боевом трафике. Вопрос был другой: могу ли я уйти в отпуск на месяц и про них не думать. Я не знал, сколько агент стоит в месяц.

Технические детали

Точность ассистента последний раз мерили для версии, которой уже не существует. Каждый проект держится на том, что я помню, как он устроен. Знакомая штука: проект живёт до вау-эффекта на демо, все хлопают, а дальше он не завершается и не умирает.

У этого есть имя, demo-driven development, термин не мой. Болезнь массовая, MIT NANDA насчитали 95% корпоративных ИИ-пилотов без измеримого эффекта на P&L. К их методологии есть вопросы (выборка на интервью), но порядок величины сходится с тем, что я вижу вокруг.

Я решил разобраться, что вообще значит «готово» для системы, которая по устройству не может работать всегда. Получился чек-лист на девять вопросов. Прогнал по нему три своих проекта: все три красные, и ни один не сломан.

Отраслевые последствия

Дисклеймер обычный: кейсы реальные, детали изменены, цифры компании округлены, метрики аудитов точные. Все три проекта мои личные инициативы рядом с основной работой команды, так что и спрос с меня. Почему старое «готово» не работаетСначала я думал, что дело в дисциплине.

Не дожал, отвлёкся, ушёл в следующий проект. Я применяю к ИИ-системам definition of done от обычного софта: фича готова, когда работает для всех случаев. В детерминированном коде это нормально, там граница возможностей это баг, его чинят.

Мой SQL-агент берёт 75% простых запросов и 30% сложных. Сколько итераций ни делай, «работает всегда» не будет, это свойство технологии. Требовать от вероятностной системы детерминированного DoD значит записать её в вечную бету навсегда.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.