Эксперименты

На сервисе предусмотрена возможность для управления экспериментами с помощью утилиты MLflow. Она позволяет фиксировать и сравнивать запуски обучения моделей с разными параметрами, а также сохранять и сравнивать результаты обучения и выходные метрики.

Сохранение экспериментов в MLflow

Для использования MLflow код обучения модели в точке входа скрипта (if __name__ == "__main__") необходимо обернуть в конструкцию:

with mlflow.start_run():

А затем настроить логируемые в mlflow параметры, метрики и модель. См. подробнее в примере на Github.

mlflow.log_param(..)
mlflow.log_metric(..)
mlflow.sklearn.log_model(..)

Все эксперименты и артефакты, созданные утилитой и моделью, можно будет найти в интерфейсе утилиты.

Подключение к MLflow

Способ 1

  1. Перейдите на вкладку Создать окружение → Стандартное окружение в главном меню сервиса Environments.

  2. Создайте новый Jupyter Server (см. Создание нового Jupyter Server) или подключитесь к уже существующему серверу (см. Подключение к существующему Jupyter Server).

  3. В окне Стандартные окружения выберите Jupyter → New → MLFlow. Утилита откроется в новой вкладке.

Способ 2

Для работы этого способа должен быть создан хотя бы один Jupyter Server (см. Создание нового Jupyter Server).

Перейдите на вкладку Окружения → Эксперименты. Обратите внимание на то, что при наличии нескольких Jupyter Server при переходе на указанную вкладку утилита откроется на ресурсах первого по списку Jupyter Server.

Важно

  • Запуск MLflow может занимать до 60 секунд.

  • Экземпляр MLflow работает на тех же ресурсах, что и Jupyter Server. При удалении всех Jupyter Server MLflow перестанет отображаться в разделе Эксперименты.