Эксперименты
На сервисе предусмотрена возможность для управления экспериментами с помощью утилиты MLflow. Она позволяет фиксировать и сравнивать запуски обучения моделей с разными параметрами, а также сохранять и сравнивать результаты обучения и выходные метрики.
В этом разделе
Сохранение экспериментов в MLflow
Для использования MLflow код обучения модели в точке входа скрипта (if __name__ == "__main__"
) необходимо обернуть в конструкцию:
with mlflow.start_run():
А затем настроить логируемые в mlflow параметры, метрики и модель. См. подробнее в примере на Github.
mlflow.log_param(..)
mlflow.log_metric(..)
mlflow.sklearn.log_model(..)
Все эксперименты и артефакты, созданные утилитой и моделью, можно будет найти в интерфейсе утилиты.
Подключение к MLflow
- Способ 1
Перейдите на вкладку Environments.
в главном меню модуляСоздайте новый Jupyter Server (см. Действия над Jupyter Server) или подключитесь к уже существующему серверу (см. Подключение к существующему Jupyter Server).
В окне Стандартные окружения выберите . Утилита откроется в новой вкладке.
- Способ 2
Для работы этого способа должен быть создан хотя бы один Jupyter Server (см. Действия над Jupyter Server).
Перейдите на вкладку
. Обратите внимание на то, что при наличии нескольких Jupyter Server при переходе на указанную вкладку утилита откроется на ресурсах первого по списку Jupyter Server.
Важно
Запуск MLflow может занимать до 60 секунд.
Экземпляр MLflow работает на тех же ресурсах, что и Jupyter Server. При удалении всех Jupyter Server MLflow перестанет отображаться в разделе Эксперименты.