Мониторинг error.log Xray: что такое XrayPulse и чем это может пригодиться

В сфере искусственного интеллекта произошло заметное событие. ne_sergo 5 минут назад Мониторинг error. log Xray: что такое XrayPulse и чем это может пригодиться Средний 3 мин 1 Сетевые технологии * Flask * Обзор Из песочницы У кого на сервере крутится Xray, рано или поздно сталкивается с ошибками вerror. log: обрывы, таймауты, несовпадение SNI, исчерпанные попытки переподключения и прочая диагностика.

Смотреть «хвостом» в консоли можно, но это плохо масштабируется: хочется понимать причины, динамику, кто к нам ломится — и желательно без тяжёлого стека вроде ELK на домашней VPS. Я собрал XrayPulse — небольшой дашборд под эту задачу и залил на github, чтобы им могли воспользоваться другие. Ниже — что именно делает приложение, из чего оно состоит и какие решения мне кажутся стоящими внимания.

Технические детали

Что делает XrayPulseЧитает error. log, инкрементально подхватывает новые строки через фоновый планировщик, пишет нормализованные события в SQLite. Парсер вытаскивает из строк IPv4/IPv6, контексты вроде SNI, приводит типы ошибок к виду, удобному для группировки и фильтров.

Дашборд: KPI за выбранный интервал, топ причин, тренд по времени, таблица истории с пагинацией. Фильтры: типы ошибок, поиск по IP источника. Детализация по типу ошибки: боковая панель со списком вхождений, сырой лог, копирование строки.

Обогащение IP (гео, провайдер, ASN) через внешний API с кэшем в БД и дневным лимитом запросов — чтобы случайно не упереться в квоты и не долбить внешний сервис без меры. Аутентификация, блокировка после нескольких неудачных попыток с одного IP, опция доверия X-Forwarded-For за reverse-proxy — это важно, если дашборд висит за nginx. Наработки, которыми хочется поделиться1.

Отраслевые последствия

Пагинация истории без «плывущего» OFFSET. Для больших таблиц классический LIMIT со временем становится дорогим. В проекте для истории используется курсор (время + rowid), кодируемый в компактный токен (base64url + JSON) — клиент передаёт «куда крутить дальше», сервер строит запрос от якоря.

Это простая схема без отдельной очереди сообщений, но заметно приятнее для SQLite на длинной истории. (Были мысли поднять ELK, но это слишком тяжелое решение для такой задачи). Геолокация как опция с лимитом.

Обогащение IP выключаемо; при включении — кэш хранится в SQLite и есть дневной счётчик запросов к чтобы нас не забанили. Безопасность входа за прокси. Советую поднимать сервис за nginx, а сам сервис в systemd или контейнере (кому как удобнее) для блокировки по IP нужен реальный адрес клиента — для этого есть отдельный флаг для чтения IP из X-Forwarded-For=true.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.