Мониторинг моделей

На сервисе предусмотрена возможность для мониторинга моделей с помощью утилиты TensorBoard. Этот инструмент позволяет отслеживать определенные показатели (например, потери и точность), визуализировать график модели, просматривать логи нейронных сетей и др. Подробная документация по использованию TensorBoard для фреймворка tensorflow приведена по следующей ссылке, а для фреймворка pytorch — на данном сайте. Для использования утилиты достаточно сохранить всю информацию, которую необходимо увидеть в TensorBoard, в отдельную директорию, как указано по ссылкам выше.

Для подключения утилиты в первый раз:

  1. Перейдите на вкладку Окружения → Jupyter Server.

  2. Создайте новый Jupyter Server (см. Создание нового Jupyter Server) или подключитесь к уже существующему серверу (см. Подключение к существующему Jupyter Server).

  3. В открывшемся интерфейсе Jupyter Notebook выберите New → TensorBoard → Current directory/ Custom directory.

    В качестве директории, укажите ту, куда сохраняются логи.

    Также можно подключить TensorBoard, установив флажок в строке напротив директории, куда сохранялись логи, и нажав кнопку Tensorboard на панели инструментов. Работа с TensorBoard также возможна из JupyterLab. Запустите утилиту из меню: File → New → TensorBoard.

Для повторного подключения к TensorBoard:

  1. Перейдите на вкладку Мониторинг → Мониторинг моделей.

  2. Выберите TensorBoard из списка для открытия утилиты в нужной директории (указана в столбце Директория).

  3. Нажмите кнопку : Открыть TensorBoard.

../_images/s__connect-to-tensorboard.png

Важно

  • Запуск TensorBoard может занимать до 60 секунд.

  • Утилита открывается в новой вкладке. Необходимо убедиться в том, чтобы браузер не заблокировал открытие вкладки.

  • Экземпляр TensorBoard привязан к конкретному Jupyter Server. При удалении Jupyter Server удалится и TensorBoard, поскольку работает на тех же ресурсах.

  • Для настройки автоматического обновления данных на графиках (версия tensorboard > 2.3) необходимо зайти в меню Кнопка настроек и выбрать опцию Reload data.

Основной функционал Tensorboard

  1. Просмотр логов обучения

    ../_images/s__view-training-logs.jpg
  2. Просмотр графа нейросети

    ../_images/s__view-neuro-graph.jpg
  3. Просмотр изменения распределения весов на каждом слое

    ../_images/s__view-distributions.jpg