ИИ-агенты провалили почти половину заданий по подбору товаров в тесте Visa

Вот последние новости с рынков цифровых активов: Visa представила бенчмарк Visa Agentic Commerce Benchmark, который проверяет, как ИИ справляется с покупками в реалистичных сценариях. В первом раунде 22 модели от 12 лабораторий в среднем прошли 57,2% попыток, говорится в пресс-релизе компании. Модели выполнили 15 сценариев с покупкой телевизоров, ноутбуков и устройств для ухода за собой.

Каждый сценарий они проходили по три раза. Лучшие системы справились с 82,2% попыток, худшая — с 28,9%. Лучшие результаты показали Gemini 4 Argon от Google и Muse Wonder от Meta — по 82,2%.

Динамика рынка

Третье место заняла Claude Fable 5. 1 от Anthropic с 75,6%. Лучшая модель OpenAI — GPT-6 Astra — набрала 64,4%.

При этом в Visa отметили, что явного лидера нет: у результатов широкий доверительный интервал, и у 11 следующих моделей он пересекается с интервалом лидеров. По условиям теста, модель должна была выяснить потребности покупателя в ходе разговора. Если подходящего товара нет, ИИ следовало отказаться от покупки.

Например, при выборе телевизора нужно было узнать бюджет покупателя, требования к изображению и игровым возможностям. Сразу покупатель называл только часть условий. Около 54% неудачных попыток все равно закончились покупкой.

Влияние на рынки

Модели либо рекомендовали товар, который не соответствовал требованиям, либо выясняли не все условия. Еще одной проблемой стала нестабильность: все три попытки в одном сценарии модели прошли лишь в 34,2% случаев. Глава направления роста Visa Рубаил Бирвадкер в комментарии Fortune признал, что технологии и доверие к ним пока недостаточно развиты.

При этом он ожидает, что вскоре потребители смогут доверять ИИ-агентам и поручать им покупки. В самой Visa подчеркнули, что результаты не означают неготовность агентов к торговле, но надежность их работы остается проблемой. В дальнейшем компания планирует добавить новые категории товаров и распространить тесты на оформление заказа и оплату.

Эта перемена продолжает формировать ландшафт цифровых активов.