Коннекторы

С помощью сервиса возможно подключаться к различным локальным и внешним источникам данных. Подключение предполагает указание параметров доступа к конкретному источнику данных. Набор параметров подключения варьируется в зависимости от типа источника.

Доступны следующие типы коннекторов:

Системные

S3 ML Space (для переносов S3/S3), NFS ML Space (для переносов S3/NFS и NFS/NFS).

Внешние
К файловым системам
  • На протоколе S3: Amazon S3, Google Cloud Storage S3, Custom S3 (для бакетов Cloud и S3-хранилищ пользователей).

  • HDFS (Hadoop Distributed File System) — файловая система, предназначенная для хранения файлов больших размеров, поблочно распределенных между узлами вычислительного кластера.

Важно

Сервис поддерживает только Hadoop RPC Protocol версии 9.

К базам данных
  • PostgreSQL (версии серверной части от 7.4 до 14, клиентской — от 9.1).

  • MySQL (версии 8.0, 5.7, 5.6, 5.5).

  • MS SQL (версии 2005 или выше).

  • Oracle DB (Возможно использовать cx_Oracle с Oracle 11.2, 12, 18, 19 и 21 версиями библиотек).

  • ClickHouse (версии кроме 20.1.*).

Названия и описания коннекторов сохраняются в таблице Коннекторы, которая отображается в каждом workspace. При создании правила переноса источник и место назначения выбирается из списка коннекторов.

На вкладке Коннекторы можно создавать подключения (коннекторы) к источникам данных, а также управлять существующими подключениями (редактировать, удалять, обновлять, фильтровать, заносить в избранное).

Создание коннектора

Для создания нового подключения (коннектора) нажмите кнопку Создать подключение. Откроется диалог создания нового коннектора. Необходимо указать:

  • Источник: база данных или файловая система, откуда переносятся данные.

  • Параметры коннектора: параметры доступа подключения (коннектора) к выбранному источнику данных (варьируются в зависимости от источника, см. ниже).

Источник

Параметры подключения

MySQL, PostgreSQL, MS SQL, Oracle DB, ClickHouse

  • IP-адрес или DNS-имя хоста

  • Порт

  • Пользователь

  • Пароль

  • База данных

  • Схема (опционально)

S3-хранилища Amazon, Google Сloud, Custom S3 (подробнее Параметры подключения к внешним S3)

  • Endpoint

  • Бакет S3 (имя бакета)

  • Access key ID

  • Security key

HDFS

  • IP-адрес или DNS-имя хоста HDFS

  • Порт

  • Имя пользователя

  • Пароль

  • Namenode principal

  • Kerberos domain

После создания коннектор отображается в таблице коннекторов. Созданные коннекторы уникальны для каждого workspace.

Параметры подключения к внешним S3

В разделе приведены ссылки на документацию разработчика, в которой описаны параметры, требуемые для подключения к S3.

Источник

Параметры подключения

S3-хранилища Amazon, Google Сloud, Custom S3

Операции над коннекторами

Пользователь может проверить работу коннектора, нажав на кнопку Test Кнопка Test. Если параметры подключения (коннектора) указаны верно, коннектор подключится к источнику данных (статус Success). Если параметры указаны некорректно, тестовый запуск завершится со статусом «Failed».

Для остановки подключения нажмите Stop Кнопка Stop. Подключение перейдет в статус неактивного (Inactive).

При желании коннектор можно отредактировать, просмотреть логи работы, удалить.

Чтобы выполнить операции над подключением, перейдите в меню Кнопка с тремя вертикальными точками:

  • Выберите команду Редактировать подключение для внесения изменений в параметры.

  • Выберите Логи для просмотра логов. В случае ошибки в логах можно найти ее причину и устранить.

  • Выберите Удалить, если коннектор с указанным источником больше не потребуется.

Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям. Для добавления фильтра по типу нажмите кнопку Кнопка Воронка. Затем — Добавить фильтр. Отфильтруйте данные.

Записи в разделе можно добавлять в избранное. Для добавления в избранное нажмите Кнопка Избранное напротив требуемой строки.