Как я писал сервер и нечаянно пробил 1М RPS

В сфере искусственного интеллекта произошло заметное событие. История об асинхронном серверном EAV‑движке, epoll'е, битовых полях и шардинге, который не смог. Это должен был быть очередной вялотекущий рутинный проект TCP сервера, listen socket, пул потоков, пул соединений, СУБД и синхронизация всего этого добра. Сказать, что скучно — ничего не сказать.

Но у меня было несколько интересных мыслей и желание реализовать что‑то достойное. Писать чистый и изящный код, чтобы каждая деталь была на своём месте, все структурировано и ничего лишнего. Ресурсы позволяли писать код для удовольствия.

Технические детали

Этот сервер не стоит миллион рублей. Это обычная облачная виртуалка: 4 vCPU, 4. 5 ГБ RAM, AlmaLinux 8.

И она выдала 1М+ RPS на пакетах по 4 байта. Сервер стоял на 40% CPU. Я прогнал тесты ещё несколько раз — результат не менялся.

Сравнил счетчик сервера со счетчиками эмуляторов. Сервер стабильно держал 1М с копейками. Запросил информацию по производительности NGINX.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.