Как измерить силу команды во времени: строим рейтинг Universal Cup

Вот важная новость с фронта ИИ: С какой вероятностью наша команда возьмёт медаль на финале ICPC? Вопрос могут задавать себе десятки команд, но кто может дать на него ответ? У меня были результаты 30 контестов Universal Cup, немного свободного времени и желание разобраться.

На связи финалист ICPC и гроссмейстер Codeforces MachineSolution. Сегодняшняя статья посвящена не столько спортивному программированию, сколько математической статистике и рейтинговой системе, я бы даже сказал рейтинговой модели, на примере контестов Universal Cup. Если вам интересны рейтинги, матстат, машинное обучение, спортивное программирование или всё вместе — ниже вы найдёте для себя что-то занимательное.

Технические детали

Постановка задачиЯ хочу не просто рассказать о рейтинге в вакууме, а показать вам задачу, которая меня заинтересовала, и то, что получилось при её решении. Если вы следите за командой I See Personal Computer, то, возможно, вас тоже интересует вопрос: «а каковы же перспективы этих ребят на финале ICPC? И нас самих этот вопрос интересует, но ответить на него не так просто.

Даже опытные тренеры не могут ответить на вопрос «с какой же вероятностью наша команда завоюет медали? Когда дело доходит до конкретных чисел, предсказание в духе «небольшие» или «достаточно серьёзные» не годится. Но и мы не будем гадать на кофейной гуще, ведь у нас есть, ни много ни мало, порядка 30 контестов, написанных на Universal Cup, которые пишут многие сильные команды.

Может быть, по этим данным получится предсказать итоги финала? Выбор моделиЯ не буду мучить вас неудачными попытками решить эту задачу и покажу сразу тот подход, который является достаточно понятным и достоверным, и ключевым фактором здесь является выбор подходящей модели. И нет, я не имею в виду GPT-6, которому можно задать вопрос «оцени вероятность нашей команды на медаль».

Отраслевые последствия

Здесь речь о том, как мы рассматриваем процесс написания контеста и получения результатов. А именно я предполагаю следующее:Каждая команда описывается некоторой вещественной случайной величиной Pᵢ, а её результат на конкретном контесте — это реализация данной случайной величины. Результат контеста с N командами определяется следующим образом: у каждой команды i есть перформанс pᵢ, по которому команды сортируются и получается итоговый лидерборд.

Все величины Pᵢ независимы в совокупности. Всё достаточно просто и похоже на реальный процесс: команда пишет тур, выдаёт какой-то результат в количестве задач и штрафном времени и по этому результату команды упорядочиваются в финальных результатах. Только в нашей модели результат, состоящий из двух целых чисел, упрощён до одного вещественного.

Внимательный читатель или прожжённый ML-щик заметит, что в нашей модели не учитывается влияние контеста, хотя на самом деле оно есть. Какие-то контесты проще, какие-то сложнее, кому-то больше подходят реализационные задачи, кому-то идейная математика, кому-то коктейль из стандартных и не очень алгоритмов.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.