fast-volleyball-tracking-inference — детектор волейбольного мяча на скорости 80 fps (CPU). Или «не YOLO единым»

В сфере искусственного интеллекта произошло заметное событие. Так сложилось, что я люблю играть в волейбол и активно снимаю свои игры и тренировки. У любителей обычно стоит стационарная камера на штативе, которая захватывает всю площадку (или почти всю) в формате 16:9. При этом современные соцсети потребляют контент вертикально (9:16) и короткими роликами около минуты.

Задача: быстро делать вертикальные видео из любительских волейбольных съёмок. Центральный объект внимания в волейболе — мяч. Значит, нужно определять начало розыгрыша и дальше уверенно следить за мячом.

Технические детали

Если сопровождать мяч и делать кроп из 16:9 в 9:16 — получаем готовый вертикальный ролик. При изучении темы детекции объектов почти сразу попадаешь на семейство YOLO. В предобученных весах есть класс sport ball.

Но возникает проблема. Площадка 18×9 метров, диаметр мяча — 65–67 см. Чем дальше мяч от камеры, тем он меньше на изображении и тем хуже его определяет YOLO.

Человек легко отслеживает мяч даже на сложных кадрах, потому что видит движение и контекст последовательности. А при покадровой обработке YOLO часто «теряет» маленький объект. На первом этапе мы попробовали superframe — три grayscale-кадра, записанные в RGB-каналы.

Это позволило явно подсветить движущиеся объекты.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.