Data catalog

Data catalog — модуль для совместной работы с артефактами ML. Данный модуль включает набор сервисов для трансфера, хранения, анализа, управления доступом и жизненным циклом данных и артефактов машинного обучения (датасетов, моделей, Docker-образов и др.).

В Data catalog входят:

  • Объектное хранилище S3, которое совместимо с Amazon S3 API.

  • Файловый менеджер (вкладка Обзор хранилища) на базе объектного хранилища S3 для совместной работы с данными.

  • Data transfer service, который обеспечивает обмен данными между системными хранилищами платформы (S3 и NFS) и перенос данных с заданной периодичностью и параметрами из внешних источников (файловых систем Amazon S3, Google Cloud Storage и др., а также баз данных PostgreSQL, MS-SQL, My SQL, Oracle).

  • Docker registry, который предназначен для хранения и управления Docker-образами, включая пользовательские образы.