Управление данными

Программы и файлы с данными могут быть использованы сервисом MRS, если они будут предварительно загружены в одну из файловых систем хранения:

Процедура использования сервиса OBS (Object Storage Service) следующая:

  1. Создание корзины OBS.

  2. Загрузка программ и файлов с данными в корзину OBS.

  3. Данные могут использоваться в сервисе MRS.

Даже при использовании HDFS данные сначала должны быть загружены в сервис OBS и только после этого импортированы в HDFS. В этом случае схема применения HDFS следующая:

  1. Создание корзины OBS.

  2. Загрузка программ и файлов с данными в корзину OBS.

  3. Импорт данных из корзины OBS в HDFS.

  4. Данные могут использоваться в сервисе MRS.

OBS

Создание корзины

  1. Выберите сервис Storage ‣ Object Storage Service.

  2. Нажмите кнопку Create Bucket.

  3. В поле Bucket Name укажите имя корзины. Storage Class оставьте Standard и нажмите кнопку Create Now.

    ../_images/image63.jpeg
  4. Корзина появится в списке OBS.

Загрузка объектов в корзину

  1. Выберите сервис Storage ‣ Object Storage Service.

  2. Нажмите на имя нужной корзины.

    ../_images/image65.jpeg
  3. Перейдите в раздел Objects и нажмите кнопку Create Folder.

    ../_images/image66.jpeg
  4. В поле Folder Name введите имя папки и нажмите кнопку ОК.

  5. Перейдите в созданную папку, нажмите кнопку Upload Object. Нажмите Add file и выберите файл, после чего нажмите кнопку Upload.

    ../_images/image68.jpeg

    См.также

    Более подробную информация о сервисе OBS смотрите в руководстве пользователя SberCloud Руководство пользователя. OBS.

HDFS

Управление папками

В данном разделе описано создание и удаление папок в нужной директории файловой системы HDFS.

  1. Выберите EI Enterprise Intelligence ‣ MapReduce Service.

  2. В боковом меню слева выберите Clusters ‣ Active Clusters.

  3. Нажмите на имя нужного кластера.

  4. Перейдите на вкладку Files. Выберите нужную директорию и нажмите кнопку Create Folder.

    ../_images/image70.jpeg
  5. В поле Folder Name укажите имя папки и нажмите кнопку ОК.

  6. Для удаления папки нажмите Delete.

    ../_images/image72.jpeg
  7. Нажмите кнопку Yes.

Загрузка данных

  1. Выберите EI Enterprise Intelligence ‣ MapReduce Service.

  2. В боковом меню слева выберите Clusters ‣ Active Clusters.

  3. Нажмите на имя нужного кластера.

  4. Перейдите на вкладку Files. Выберите нужную директорию и нажмите кнопку Import Data.

    ../_images/image74.jpeg
  5. Укажите следующие данные и нажмите кнопку ОК:

    1. OBS Path — нажмите кнопку Browse, выберите в корзине OBS нужный файл и нажмите кнопку Yes.

      Примечание

      Можно поочередно указать путь к разным файлам.

    2. HDFS Path — в данном поле по умолчанию прописывается путь к выбранной вами директории. Для изменения директории нажмите кнопку Browse.

    ../_images/image75.jpeg
  6. Через несколько минут файл появится в папке. Для обновления списка файлов воспользуйтесь значком Обновить (Refresh).

    ../_images/image76.jpeg

Выгрузка данных

Выгрузка данных из HDFS происходит в корзину OBS. Предварительно создайте нужную корзину и, при необходимости, папку, в которой будет размещен файл с данными или программа.

  1. Выберите EI Enterprise Intelligence ‣ MapReduce Service.

  2. В боковом меню слева выберите Clusters ‣ Active Clusters.

  3. Нажмите на имя нужного кластера.

  4. Перейдите на вкладку Files. Нажмите кнопку Export Data.

    ../_images/image77.jpeg
  5. Укажите следующие данные и нажмите кнопку ОК:

    1. HDFS Path — нажмите кнопку Browse и выберите путь к нужному файлу и нажмите кнопку Yes.

      Примечание

      Можно поочередно указать путь к разным файлам.

    2. OBS Path — нажмите кнопку Browse и укажите путь к нужной корзине и папке в OBS, куда будут загружены файлы. Нажмите кнопку Yes.

    ../_images/image78.jpeg
  6. В случае успешной выгрузки появится следующее диалоговое окно. Нажмите кнопку ОК.

Удаление данных

  1. Выберите EI Enterprise Intelligence ‣ MapReduce Service.

  2. В боковом меню слева выберите Clusters ‣ Active Clusters.

  3. Нажмите на имя нужного кластера.

  4. Перейдите на вкладку Files.

  5. В строке с нужной папкой нажмите Delete.

    ../_images/image80.jpeg
  6. Нажмите кнопку Yes.