515 страниц, которых не было в поиске. Мы сами их закрыли и два месяца не замечали

В сфере искусственного интеллекта произошло заметное событие. Valery247500 52 минуты назад 515 страниц, которых не было в поиске. Мы сами их закрыли и два месяца не замечали Средний 3 мин 969 Поисковая оптимизация * Веб-аналитика * Кейс У нас справочник товаров: сканируешь штрих-код - получаешь разбор состава, добавки, вердикт. В базе 119 225 товаров, вердикт посчитан у 77 188.

Под каждый товар с составом на сайте лежит страница. В Яндексе в поиске было 39 страниц. Тридцать девять - при семидесяти семи тысячах готовых.

Технические детали

Объяснение напрашивалось удобное: молодой домен, ссылок нет, поисковик не спешит. Вебмастер вроде подтверждал - висело 1112 страниц со статусом “малоценная или маловостребованная”. Два месяца я смотрел не в тот отчёт.

“Малоценные” - это не наш запретСтрока “малоценные” в Вебмастере - оценка поисковика. Он страницу видел и решил не брать. Наш собственный технический запрет живёт в другом отчёте, и цифра там была другая: noindex на 515 страницах.

Я складывал их в одну кучу, пока не полез проверять адреса руками через “Проверку URL”. Из правила, которое мы сами написали и которое, в общем, разумное: товарная страница публикуется, только если у товара есть название. Иначе выйдет адрес с заголовком “Продукт” - мусор, за который по голове не погладят.

Отраслевые последствия

Но источник наполнялся кусками: у части товаров приезжал состав и не приезжало имя. И шаблон на таких страницах честно ставил meta robots: noindex, follow. 417 запертых страниц были готовы целикомЭто вылезло, когда я перестал считать проценты и посмотрел, чего запертым страницам не хватает.

Нет одной строки - имени товара! Добывали имена из открытых источников по штрих-коду. Тут сразу грабли: качество у источников разное.

Один отдаёт чистые единообразные названия. Второй - транслит, обрезки и служебные хвосты вроде “#4” прямо в имени. Третий пишет капсом, но с ним хоть жить можно.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.