Как мы построили сервис компьютерного зрения на базе внешних VLM для контроля выкладки и ценников: опыт Fix Price

В сфере искусственного интеллекта произошло заметное событие. christ1na 9 минут назад Как мы построили сервис компьютерного зрения на базе внешних VLM для контроля выкладки и ценников: опыт Fix Price 7 мин 311 Блог компании Fix Price Искусственный интеллект Машинное обучение * Кейс Привет, Хабр! Меня зовут Кристина Истратова и я руковожу центром аналитики данных в Fix Price. В нашей Сети более 8 000 магазинов, а в каждом из них — множество товаров.

Думаю, все из нас знают, как покупатели реагируют на отсутствие ценника или неверную цену на нем, какие чувства вызывает пустая полка, где нет товара, за которым приходишь в магазин. Так что одна из наших важных ежедневных задач – это проверка выкладки товаров и правильности ценников, и выполнять нам ее надо максимально быстро и точно. На помощь нам пришел, конечно же, искусственный интеллект: мы начали использовать сервис для автоматического контроля наличия товаров на полках магазинов и актуальности ценников – OSA (on shelf availability).

Технические детали

Недавно мы опубликовали новость о старте проекта. В комментариях развернулась небольшая дискуссия, поэтому я решила сделать подробный разбор. Расскажу, как и зачем мы построили этот сервис, и как совместили в одной связке статистику, общедоступные VLM и собственные ML-разработки.

Кейс для понимания сути сервиса Чтобы описать проблему, приведу реальный пример из работы сервиса. Заведующий магазином вынужден в течение рабочего дня решать миллион задач, причем одномоментно, это тяжело и нередко оборачивается ошибками. В таких ситуациях сервис информирует работника: в конкретной точке перестал продаваться «Напиток суб Rich Dor Irish Cream» и система отправила заведующему задачу «Проверьте выкладку».

По всей видимости, сотрудник в спешке, выхватил взглядом слово «Rich» и не заметил характеристику «суб Dor Irish Cream», сфотографировал известный газированный напиток. Ошибку выявил AI, сравнив фото с эталонным наименованием, и выставил задачу повторно. Магазин вновь присылал фото газировки и ситуация повторилась.

Отраслевые последствия

И только на третий раз, внимательно перепроверив, сотрудник понял, что нужно было сфотографировать растворимый кофе Rich. Выкладку поправили, товар вернулся на полку и продажи пошли только после финальной проверки. Архитектура системы: от чека до задачи Как в любом магазине, во всех наших точках есть постоянное видеонаблюдение.

Но оно не может полноценно решить эту задачу, так как текущих камер не достаточно для четкого охвата всех полок магазина, а дооснащение каждой полки камерами обойдется слишком дорого (с учетом количества магазинов в сети). В основе нашего решения лежит трехуровневая логика. Как устроен процесс: взгляд сверхуПрежде чем погружаться в детали, давайте охватим взглядом всю цепочку целиком.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.