Как подготовить исходные данных для MRS?

MapReduce Service может обрабатывать данные как из OBS, так и из HDFS. Перед использованием MRS для анализа данных их нужно подготовить следующим образом:

  1. Загрузите данные в корзину OBS:

    1. Авторизуйтесь в консоль управления.

    2. Выберите Storage ‣ Object Storage Service.

    3. Создайте корзину userdata, после чего создайте в ней папки «program», «input» и «output»:

      • Для создания корзины: нажмите кнопку Create Bucket, в поле Bucket Name укажите «userdata» и нажмите кнопку Create Now.

      • Для создания папок: нажмите на имя корзины, перейдите в раздел Objects и нажмите кнопку Create Folder. Последовательно создайте папки «program», «input» и «output».

    4. Загрузите данные в корзину userdata:

      • Нажмите на папку «program», нажмите кнопку Upload Object, перетащите программу в окно или нажмите Add file. Нажмите кнопку ОК.

      • Повторите процесс с папками «input» и «output».

  2. Загрузите данные с OBS в HDFS.

Данная функция доступна только если отключена проверка аутентификации Kerberos, а кластер находится в рабочем состоянии:

  1. Выберите EI Enterprise Intelligence ‣ MapReduce Service.

  2. Нажмите на имя кластера, перейдите на вкладку Files и выберите HDFS File List.

  3. Нажмите на папку хранилища данных, например, bd_app1, или создайте новую — нажмите кнопку Create Folder.

  4. Нажмите кнопку Import Data. Нажмите кнопку Browse для загрузки файла из корзины OBS или указания пути HDFS.

Загруженный файл можно увидеть на вкладке Files ‣ File Operation Records.