Как VPS с 1 ГБ RAM пережил 1,2 млн запросов за сутки: разбираю «Шакализатор» по слоям

В сфере искусственного интеллекта произошло заметное событие. JuxaDan 4 минуты назад Как VPS с 1 ГБ RAM пережил 1,2 млн запросов за сутки: разбираю «Шакализатор» по слоям Средний 11 мин 182 Node. JS * Высоконагруженные системы * Серверное администрирование * Веб-разработка * Кейс Недавно мой проект «Шакализатор сайтов» победил в номинации «Креативное решение» первой премии «Сделано с ИИ» от Яндекс Практикума. Это хороший повод наконец ответить на вопрос, который интересовал меня не меньше самой премии: какого черта VPS с одним ядром и 1 ГБ памяти вообще пережил набег с Пикабу?

Я маркетолог, а не системный архитектор. Серверную часть и большую часть защитных механизмов писал Codex: я формулировал задачи, проверял результат и выкатывал изменения. Поэтому, когда пост попал в горячее, я в основном обновлял статистику и ждал, в какой момент сервер испустит последний вздох.

Технические детали

Теперь у меня остались код на момент всплеска, история коммитов и сохраненные серверные срезы. Поэтому можно спокойно разобрать систему по слоям и понять, что именно ее спасло, что работало не так хорошо и насколько страшны 1,2 млн запросов, если убрать из числа драматическую музыку. О том, как я собирал сам прокси и превращал современные сайты в Web 1.

0, я уже рассказывал в предыдущей технической статье. Здесь речь именно о нагрузке. Что вообще произошло«Шакализатор» берет URL современного сайта, скачивает HTML, удаляет стили и скрипты, переписывает ссылки и изображения, добавляет Comic Sans, бегущие строки, GIF-баннеры и возвращает пользователю версию страницы из альтернативного 1999 года.

27 апреля я опубликовал пост на Пикабу. Он попал в горячее, и люди начали шакалить банки, маркетплейсы, GitHub, YouTube, сайты компаний, сам Пикабу и все остальное, что попадалось под руку. Утром 28 апреля серверный срез за последние 24 часа выглядел так:МетрикаЗначениеВсе HTTP-запросы1 202 182Просмотры страниц по серверной оценке90 805Открытия /shakal57 772Отправки формы /api/shakalize48 686Запросы к image-proxy240 161Ответы 200695 766Ответы 304380 809Ошибки 5xx18 747Записи Nginx со статусом 49969 454На момент замера у VPS было:1 vCPU;870 МБ доступной физической памяти;4 ГБ swap;занято 818 МБ RAM;использовано 619 МБ swap;занято 94% диска;свободно 1,3 ГБ.

Отраслевые последствия

retroweb и Nginx продолжали работать. Процесс приложения занимал около 441 МБ памяти, зафиксированный пик составлял 586 МБ. На первый взгляд это выглядит как чудо.

Но только пока мы смотрим на суточную сумму. Слой нулевой: миллион запросов — это не миллион одновременноПервая полезная операция в любом разговоре о большой суточной цифре — разделить ее на 86 400 секунд. 1 202 182 / 86 400 = 13,9 запроса в секунду в среднемЧетырнадцать запросов в секунду — это уже нагрузка, но далеко не тот highload, который требует стойки серверов, Kubernetes и инженера с огнетушителем.

Кроме того, далеко не каждый из этих запросов запускал полную шакализацию сайта.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.