Как я собрал анализатор прочтений для Author.Today: Selenium → MS SQL → воронка

В сфере искусственного интеллекта произошло заметное событие. megabax 15 минут назад Как я собрал анализатор прочтений для Author. Today: Selenium → MS SQL → воронка 11 мин 387 Python * SQL * Microsoft SQL Server * Кейс 1. Зачем это нужноМоя боль как автора (а я не только программист и к.

н, но еще и писатель в жанре фантастики) – это отсутствие на сайте автор. тудей полноценного анализа статистики. Вся статистика ограничивается просмотрами, временем и средним временем прочтений по дням и главам, в виде шахматки:Ну, и еще плюс график времени чтения:И все!

Технические детали

Нет ни воронки, сколько % читателей переходят к следующей главе, ни каких-то других маркетинговых отчетов. А об определении статистической достоверности через вычисление p-Value я вообще молчу. Сидеть и вбивать все эти данные ручками в Excel, а потом получать нужные отчеты – не вариант.

Как инженер-программист я просто должен что-то придумать, найти какое-то инженерное решение. Правовая ремаркаПредупреждаю сразу. Приложение выложено на гитхаб в открытый доступ.

Но по закону его допускается использовать только для сбора и анализа статистики по своим книгам (произведениям, к которым у вас есть законный доступ как у автора/соавтора). Сбор чужой статистики, обход ограничений доступа и любое иное неправомерное использование запрещены. Всю ответственность за неправомерное использование несёт пользователь.

Отраслевые последствия

То есть, если используя, данную разработку, вы вдруг скачаете статистику чужих книг (на самом деле не скачаете, но это нюансы) – то это будет ваша ответственность. Обзор решенияПервое, что я попробовал – это прямые GET запросы к странице со статистикой. Сайт не выдает по GET ту же самую страницу, что в браузере.

Значит, надо воспользовался эмулятором браузера, например, библиотекой Selenium. Тут, конечно, тоже возникает правовой вопрос. Но так как правила сайта прямо не запрещают парсинг страниц, да и закона нет, который бы запретил сбор из интернета открытых данных, значит, можно.

Парсер находит на странице Kendo Grid (написанный на jQuery и встроенный в сайт автор. тудей) и разбирает его по столбцам и строкам. Сначала он записывает информацию в свою внутреннюю структуру, затем пишет в базу данных MS SQL.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.