mAP50 = 0,99 за 22 минуты на CPU. Жаль, что цифра ничего не значит

Значимый прорыв формирует отрасль ИИ: 8MVR3 16 минут назад Объяснить с mAP50 = 0,99 за 22 минуты на CPU. Жаль, что цифра ничего не значит Средний 9 мин 475 Машинное обучение * Обработка изображений * Python * Open source * Кейс Из песочницы Я дообучил YOLO11n на датасете medical‑pills из документации Ultralytics: 60 эпох, 22 минуты на ноутбучном Ryzen 7, mAP50 = 0,991 на валидации. По всем признакам — успех: можно делать скриншот и рассказывать, как легко сегодня учить детекторы.

Потом я прогнал тот же датасет через dataset‑doctor — свою проверялку датасетов — и узнал, что у каждого из 23 валидационных кадров есть почти точная копия в train. Валидация измеряла не «как модель справится с новыми таблетками», а «как хорошо модель помнит то, что уже видела». Под катом: что именно нашлось, почему метрика при этом не врёт в прямом смысле, но и не говорит ничего полезного, как ловить такую утечку за два десятка строк на Python (dHash плюс корзины) и как делить данные, чтобы её не было.

Технические детали

Датасет и обучениеmedical‑pills — маленький набор из документации Ultralytics. Сами авторы называют его proof‑of‑concept: 115 фото таблеток, 2 022 рамки, один класс pill, архив на 8 МБ. Разбиение идёт из коробки: 92 кадра в train, 23 в val.

Файлы называются Frame_24, Frame_308 и так далее — уже отсюда видно, что это кадры видео, а не отдельные фотографии. Учил стандартным скриптом, ничего не подкручивая:from ultralytics import YOLO model = YOLO("yolo11n. train(data="medical-pills.

yaml", epochs=60, imgsz=640, batch=16) metrics = model. pt — веса, предобученные на COCO. Видеокарты под рукой не было, поэтому считалось на CPU, остальные параметры по умолчанию.

Отраслевые последствия

Метрики в таблице — из model. val() после обучения. ЧтоЗначениеmAP50 на val0,991mAP50-95 на val0,797Эпох / размер входа60 / 640Железо и времяCPU Ryzen 7 4 800 H, 22 минутыСама по себе цифра 0,99 по mAP50 на одном классе крупных контрастных объектов на ровном фоне не выглядит невозможной.

Проблема не в том, что число большое. Проблема в том, на чём оно измерено. Что нашёл dataset‑doctordataset‑doctor — утилита, которая прогоняет датасет через набор проверок до обучения и пишет отчёт человеческим языком: что сломано, насколько это критично и что с этим делать.

Репозиторий — github. com/8MVR3/dataset‑doctor, ставится и запускается так, прямо на папке в том виде, в каком её скачивает Ultralytics:pip install git+ dataset-doctor datasets/medical-pills --out report.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.