Data Catalog

Data Catalog — модуль для совместной работы с артефактами ML. Этот модуль включает набор сервисов для трансфера, хранения, анализа, управления доступом и жизненным циклом данных и артефактов машинного обучения (датасетов, моделей, Docker-образов и др.).

В Data Catalog входят:

  • Файловый менеджер (вкладка Обзор хранилища) на базе объектного хранилища S3 для совместной работы с данными. Объектное хранилище совместимо с Amazon S3 API.

  • Data transfer service, который обеспечивает обмен данными между системными хранилищами платформы (S3 и NFS) и перенос данных с заданной периодичностью и параметрами из внешних источников (файловых систем Amazon S3, Google Cloud Storage и др., а также баз данных PostgreSQL, MS-SQL, My SQL, Oracle).

  • Artifact Registry, который включает в себя сервис для хранения и управления Docker-образами и сервис, предназначенный для хранения и управления моделями и датасетами.