Эксперименты

На сервисе предусмотрена возможность для управления экспериментами с помощью утилиты MLflow. Она позволяет фиксировать и сравнивать запуски обучения моделей с разными параметрами, а также сохранять и сравнивать результаты обучения и выходные метрики.

Сохранение экспериментов в MLflow

Для использования MLflow код обучения модели в точке входа скрипта (if __name__ == "__main__") необходимо обернуть в конструкцию:

with mlflow.start_run():

А затем настроить логируемые в mlflow параметры, метрики и модель. См. подробнее в примере на Github.

mlflow.log_param(..)
mlflow.log_metric(..)
mlflow.sklearn.log_model(..)

Все эксперименты и артефакты, созданные утилитой и моделью, можно будет найти в интерфейсе утилиты.

Важно

Не рекомендуется удалять файлы в каталоге mlflow. Удаление может привести к проблемам при запуске MLflow.

Подключение к MLflow

Способ 1

  1. Перейдите на вкладку Стандартное окружение в главном меню модуля Environments.

  2. Создайте новый Jupyter Server (см. Создание нового Jupyter Server) или подключитесь к уже существующему серверу (см. Подключение к существующему Jupyter Server).

  3. В окне Стандартные окружения выберите Jupyter → New → MLFlow. Утилита откроется в новой вкладке.

Способ 2

Для работы этого способа должен быть создан хотя бы один Jupyter Server (см. Создание нового Jupyter Server).

Перейдите на вкладку Environments → Эксперименты. Обратите внимание на то, что при наличии нескольких Jupyter Server при переходе на указанную вкладку утилита откроется на ресурсах первого по списку Jupyter Server.

Важно

  • Запуск MLflow может занимать до 60 секунд.

  • Экземпляр MLflow работает на тех же ресурсах, что и Jupyter Server. MLflow перестанет отображаться в разделе Эксперименты при удалении всех Jupyter Server.

  • Не рекомендуется обновлять MLflow.

  • В случае некорректного обновления MLflow требуется:

    1. Удалить директорию /home/jovyan/.local командой:

      rm -r .local

    2. Заново создать Jupyter Server.