Искал пальмовое масло в 110 тысячах составов и нашёл его в витамине A. Почему поиск по слову врёт

Значимый прорыв формирует отрасль ИИ: Valery247500 15 минут назад Искал пальмовое масло в 110 тысячах составов и нашёл его в витамине A. Почему поиск по слову врёт Простой 3 мин 421 Регулярные выражения * Big Data * Data Mining * Кейс пальм и пальмитатУ меня есть база составов продуктов, парсер тянет её из открытых источников уже полгода. Сейчас в ней 110 тысяч штрихкодов, у которых есть и название, и текст состава.

На этой базе я считаю всякое для постов, и вот на прошлой неделе решил посчитать пальмовое масло. Задача на две минуты, казалось бы: grep по слову “пальм”, деление на общее число, готово. Получилось 5,9% по всей базе.

Технические детали

Нормально, похоже на правду. А потом я разбил по категориям и в детском питании увидел 10%. Каждая десятая смесь или каша с пальмой?

Уже заголовок для поста придумал. Хорошо, что перед публикацией я открыл выборку глазами. Правило у меня такое с прошлого раза, когда “без сахара” в поиске цеплял всё подряд.

Что было в выборкеПервая строка: молочная смесь, в составе “ретинола пальмитат”. Вторая: каша, “аскорбилпальмитат” - антиокислитель Е304, производная аскорбинки. Третья: снова смесь, “2-пальмитоил” - это про структуру жира в детских смесях, там специально делают так, чтобы пальмитиновая кислота стояла в средней позиции молекулы, как в грудном молоке.

Отраслевые последствия

Ни в одной из трёх пальмового масла не было! ит) вместо голого пальм - и цифры сразу другие:по всей базе: 6 543 товара наивно, 6 012 строго. Ложных 531, около 8% от найденного;детское питание: 215 наивно, 63 строго.

Было 10,1%, стало 3,0%. То есть треть сенсации, если честно, а две трети - витамин A и антиокислитель. Среди 531 ложного срабатывания: аскорбилпальмитат - 316, разные другие пальмитаты (цетил и прочее, это косметика и БАД, они тоже в базе) - 94, ретинола пальмитат - 50, пальмитиновая кислота - 48, пальмитоил - 19.

По брендам ложных больше всего у Беллакта, Nestle, Nutrilak, Kabrita, Nutrilon - вот вам и “детское питание с пальмой”. Полез проверять остальноеРаз одно слово так подвело, я прогнал по базе ещё несколько, которые часто ищут в составах. Считал уникальные штрихкоды: сколько находит наивный поиск и сколько остаётся, если вычесть очевидно чужие вхождения.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.