Маленький файл robots.txt и большие последствия одной строки

Значимый прорыв формирует отрасль ИИ: akdengi 28 минут назад Маленький файл robots. txt и большие последствия одной строки 12 мин 1. 1K Блог компании HOSTKEY Базы данных * Веб-разработка * Тестирование веб-сервисов * FAQ Автор: Иван Богданов, Технический писатель Почти за каждым сайтом стоит человек, которому небезразлично, приходят ли туда люди.

Для кого-то сайт — это бизнес, источник заказов и клиентов. Для кого-то — увлечение, личный блог или сообщество по интересам. Разница тут велика, и всё же владельцы в обоих случаях заинтересованы в одном и том же.

Технические детали

Им нужно, чтобы на сайт заходили, и желательно именно те, кому его содержимое действительно нужно. Кажется логичным, что число таких визитов зависит прежде всего от содержимого. Чем полезнее и интереснее то, что на сайте, тем охотнее на него идут.

В реальности связь заметно менее прямая. Сколько посетителей придет из поиска и насколько это будут нужные сайту люди, определяется далеко не только опубликованным. Количество и качество визитов нередко зависят от причин, которые к самому содержимому отношения почти не имеют.

Серверы в Европе и США за 5 минутВыделенные и виртуальные серверы с оплатой в рублях. Предустановленное ПОВыбратьИногда судьбу сайта в поисковой выдаче решает крошечный технический файл, о существовании которого владелец может даже не подозревать. Называется он robots.

Отраслевые последствия

Лежит в корне почти любого сайта, весит несколько строк, и именно с него начинает знакомство с сайтом любой поисковый робот. От того, что в этих строках написано, зависит, какие страницы попадут в поиск, а какие останутся для него невидимыми. Ошибка здесь способна тихо убрать из выдачи весь сайт целиком, и ни одна система мониторинга при этом не поднимет тревогу, ведь технически всё исправно.

Чаще всего это всплывает при переезде сайта. Команда дотягивает большой переезд интернет-магазина на новый сервер. Несколько недель работы позади, всё поднялось и отвечает, можно выдохнуть.

Через пару недель из поиска приходит заметно меньше людей, потом ещё меньше. Начинаются экстренные созвоны и поиски виноватого. Перетряхивают код, перенаправления, скорость загрузки, хостинг.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.