ClearML Agent: обучение модели в Google Colab

В сфере искусственного интеллекта произошло заметное событие. Ilya12c 2 минуты назад ClearML Agent: обучение модели в Google Colab 8 мин 22 Блог компании Magnus Tech Машинное обучение * DevOps * Python * Искусственный интеллект Туториал ClearML — это целый космос, так что мы продолжаем разбирать его компоненты. В прошлой статье мы рассматривали ClearML Session и настраивали удаленную среду разработки с Jupyter Lab и VSCode. В этот раз поговорим о ClearML Agent и разберем, как с его помощью запустить обучение на удаленном сервере, в частности, Google Colab.

Кратко о ClearML AgentClearML Agent — это виртуальная среда и менеджер выполнения решений DL/ML на машинах с GPU «в одном флаконе». Он представляет собой полноценное кластерное решение. Вот основные возможности ClearML Agent:запуск экспериментов на произвольных ресурсах — локальных или в облаке;воспроизведение экспериментов: агент клонирует код, устанавливает зависимости, воспроизводит окружение, а затем запускает код (это позволяет запускать задачи на удаленной машине так же, как и на локальной);запуск сервисов/контейнеров для долгоживущих задач (не только коротких экспериментов);управление ресурсами: агент можно запустить в CPU-only режиме или с --gpus, а также управлять выделением GPU через NVIDIA_VISIBLE_DEVICES;планирование выполнения задач: можно запускать задачи по очереди/в зависимости от очередей, а также назначать им приоритеты;масштабирование: можно добавлять/удалять машины из «кластера», использовать ресурсы разных машин — облачных и on-premise вместе;логирование: stdout/stderr процесса, установка зависимостей, клонирование — всё логируется и может просматриваться через UI;конфигурация запуска/переопределение параметров задачи через UI, SDK, CLI — без необходимости менять код, например, можно менять гиперпараметры, зависимости, аргументы командной строки, docker-образ;возможность интеграции с Kubernetes/bare-metal/SLURM.

Технические детали

Логика запуска эксперимента на удаленной машине с ClearML AgentЕсли вкратце, ClearML Agent обеспечивает запуск кода на удаленной машине, воссоздавая окружение проекта так, словно эксперимент проводится локально. Заглянем под капот этого процесса. При локальном запуске кода вызов Task.

) создает новую Task на ClearML Server. В этой Task сохраняется:ссылка на Git-репозиторий;незакоммиченные изменения в виде diff-патча;автоматически собранный список зависимостей; параметры, метрики, stdout / stderr; конфигурации и артефакты. Поясним, что Task — это полное и исчерпывающее описание состояния проекта в момент запуска.

После локального запуска Task отправляется в очередь — канал, по которому задачи распределяются от сервера к агентам. Процесс назначения может осуществляться через SDK, CLI или ClearML UI, о чем расскажем подробнее ниже. Агент способен слушать сразу несколько очередей, откуда задачи берутся в работу.

Каждый агент работает только над одним task-ом в моменте, сколько бы их не скопилось в очереди. Притом ClearML Agent выполняет следующие действия.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.