Как продвигать твиты в X: разбираем рекомендательный алгоритм Twitter

В сфере искусственного интеллекта произошло заметное событие. atomlib 15 минут назад Как продвигать твиты в X: разбираем рекомендательный алгоритм Twitter Средний 16 мин 131 Машинное обучение * Социальные сети Алгоритмы * Big Data * Data Engineering * Дайджест ChatGPT13 августа сайт X опубликовал значительно обновлённую версию исходного кода рекомендательной ленты. В репозитории под лицензией Apache 2. 0 выложили код модели Phoenix, реальные значения основных коэффициентов ранжирования, механизмы отбора кандидатов, фильтрации видимости, поддержки новых авторов и обеспечения разнообразия ленты.

Заметная доля пользователей X предпочитает называть сайт микроблогов по старинке — Twitter. Другая неискоренимая вредная привычка — чтение алгоритмической ленты. Чтобы увеличить охват микроблога, было бы неплохо хотя бы в общих чертах разобраться, как работает рекомендательный алгоритм, а затем рассмотреть все основные коэффициенты.

Технические детали

Этим в данной статье мы и займёмся. X показала только то, что формирует ленту «Для вас». Вообще-то на сайте ещё есть тренды и ранжирование комментариев под твитами, но интересно посмотреть хотя бы на этот рекомендательный алгоритм.

Также надо оговориться, что многие значения поступают из внутренней конфигурационной системы и могут меняться без перекомпиляции кода, поэтому любые заявления о поведении X. com носят предположительный характер. Как объясняется в README репозитория, единого глобального фида для всех нет, лента формируется заново для каждого аккаунта и для каждого запроса.

В схеме архитектуры все стадии и шаги применяются для каждого пользователя индивидуально. Для начала от пользователя должен поступить собственно запрос. Вместе с ним система загружает недавнюю историю взаимодействий, список подписок, блокировки, замьюченные аккаунты, заблокированные слова, уже показанные публикации и другие признаки.

Отраслевые последствия

Этот контекст в дальнейшем будет нужен и для поиска подходящих материалов, и для фильтрации, и для прогнозирования поведения. Первичный поиск кандидатовВ документации описаны три основных канала, откуда поступает до 3000 кандидатов:Thunder. Отсюда приходят свежие публикации из аккаунтов, на которые подписан пользователь, для которого формируется лента.

Если судить по содержимому файла home-mixer/params/param. rs, значение параметра ThunderMaxResults составляет 1200. Так задаётся число твитов, которое Thunder может вернуть в Home Mixer в качестве кандидатов.

Однако перед запросом это значение дополнительно обрабатывается через модуль quality_factor. Также в файле указано, что это выполненная 12 августа копия значений по умолчанию, а вообще эти параметры могут меняться через конфигурационную систему. То есть нет никаких гарантий, что на реальном X.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.