Создание кластера

Настройка программного обеспечения

  1. Выберите EI Enterprise Intelligence ‣ MapReduce Service.

  2. Нажмите на кнопку Create Cluster.

    ../_images/image41.jpeg
  3. Выберите режим Custom Config.

    ../_images/image51.jpeg
  4. Дале укажите:

    1. Cluster Name — имя кластера.

    2. Cluster Type — в Analysis cluster выберите все компоненты.

    ../_images/image61.jpeg
  5. На странице ниже сделайте следующее и нажмите кнопку Next:

    1. Kerberos Authentication — отключите проверку аутентификации Kerberos.

    2. Username — по умолчанию имя пользователя admin для авторизации в MRS Manager.

    3. Password и Confirm Password — укажите и подтвердите пароль для авторизации в MRS Manager.

    ../_images/image7.jpeg

Настройка средств аппаратного обеспечения

  1. Заполните следующие поля:

    1. VPC — выберите из списка сеть.

    2. Subnet — выберите из списка подсеть.

    ../_images/image81.jpeg
  2. На странице ниже заполните следующие поля и нажмите кнопку Next:

    1. Login Mode — выберите режим Password.

    2. Username — по умолчанию имя пользователя «root» для авторизации в узле ECS.

    3. Password и Confirm Password — укажите и подтвердите пароль для авторизации в в узле ECS.

    ../_images/image91.jpeg
  3. В новом окне нажмите кнопку Create Now.

  4. Нажмите кнопку Back to Cluster List.

    ../_images/image111.jpeg
  5. Создание кластера займет некоторое время. Необходимо дождаться пока его статус не изменится на Running. Для обновления статуса кластера воспользуйтесь значком button__refresh (Refresh).

    ../_images/image13.jpeg

Подготовка программы и файлов с данными

На данном этапе будет использоваться тестовые примеры файлов с данными, а также программа Hadoop с установленным на нее компонентом wordcount.

  1. Перейдите по ссылке для скачивания программы Hadoop с установленным компонентом wordcount.

  2. Выберите, например, hadoop-3.1.3.tar.gz. Распакуйте его. Программу hadoop-mapreduce-examples-3.1.3.jar вы найдете в директории hadoop-3.1.3\share\hadoop\mapreduce.

    ../_images/image14.jpeg
  3. Подготовьте пару файлов формата txt. В данном примере используем файлы wordcount1.txt и wordcount2.txt.

    ../_images/image15.jpeg
  4. Выберите сервис Storage ‣ Object Storage Service.

  5. Нажмите кнопку Create Bucket.

  6. В поле Bucket Name укажите имя корзины и нажмите кнопку Create.

  7. Нажмите на имя корзины.

  8. Перейдите в раздел Objects и нажмите кнопку Create Folder.

    ../_images/image18.jpeg
  9. В поле Folder Name введите «program» и нажмите кнопку ОК. После чего создайте еще одну папку с именем «input».

    ../_images/image19.jpeg
  10. Перейдите в папку «program», нажмите кнопку Upload Object. Нажмите Add file и выберите скачанную ранее программу Hadoop, после чего нажмите кнопку Upload.

    ../_images/image20.jpeg
  11. Перейдите в папку «input» и загрузите созданные ранее файлы wordcount1.txt и wordcount2.txt по аналогии с предыдущим пунктом.

    ../_images/image21.jpeg
  12. Теперь нужно создать и запустить задание (job).