IP, браузер, TLS: три слоя, на которых палится парсер

В сфере искусственного интеллекта произошло заметное событие. TUYU 8 минут назад IP, браузер, TLS: три слоя, на которых палится парсер Средний 12 мин 427 Go * Информационная безопасность * Криптография * Сетевые технологии * Кейс Из песочницы Дисклеймер. Речь не о взломе и не о нагрузке на чужие серверы. Я работал с публичными страницами товаров — теми, что видит любой человек без логина, — и ходил туда раз в несколько часов.

Это история о том, как я разбирался, почему меня блокируют. Рабочие параметры и точные обходы намеренно опущены: тут про механизмы, а не про готовый инструмент для взлома интернета. С чего все началосьХотел простую вещь: отслеживать цену на пару товаров, которые ждал со скидкой.

Технические детали

Чтобы не заходить руками каждый день, а получить уведомление, когда подешевело. Думал, это вечер работы. get(), выдрать цену, сравнить, отправить в телегу (упрощенно, конечно).

Оказалось, парсинг цен на маркетплейсах — это не про HTTP‑запрос. Это про репутацию IP‑адресов, про то, как браузер выдает себя поведением, и — на финале — про пост‑квантовую криптографию в TLS‑рукопожатии. Три площадки (Ozon, WB, Яндекс.

Маркет) дали мне три совершенно разных уровня защиты, и на каждом я застревал по‑своему. Каждая площадка проверяет свой слой. Ozon: «датацентр здесь не пройдет»Начал с Ozon.

Отраслевые последствия

Самый наивный вариант — обычный HTTP‑запрос за страницей товара. Окей, добавил заголовки как у настоящего браузера — User‑Agent, Accept, все как полагается. Поменял User‑Agent еще раз.

Стало понятно, что дело не в заголовках — Ozon режет меня раньше, чем смотрит, что я там прислал. Дело не в запросе, а в том, откуда онКлючевой инсайт пришел, когда я попробовал тот же самый запрос с разных адресов. С сервера в дата‑центре — 403.

С домашнего интернета — страница открывается. Вот тут до меня дошло, что антибот Ozon в первую очередь смотрит не на что я прислал, а откуда я пришел. И адреса для него делятся на касты:— Дата‑центровые IP (облака, хостинги, VPS) — «ты бот, до свидания», 403.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.