Создание кластера

Создать кластер можно двумя способами:

  1. Quick Config — предлагает быстрое создание кластера, с предустановленными настройками.

  2. Custom Config — гибкое управление настройками кластера.

Создание кластера Quick Config

  1. Выберите EI Enterprise Intelligence ‣ MapReduce Service.

  2. Нажмите кнопку Create Cluster.

    ../_images/image53.jpeg

  3. Заполните следующие поля:

    1. Выберите вкладку Quick Config.

    2. Cluster Name — укажите имя кластера.

    3. Cluster Version — выберите из списка версию кластера.

    4. Component — выберите один из компонентов:

      • Hadoop analysis cluster — подробнее об архитектуре и принципах работы Hadoop можно узнать здесь.

      • HBase analysis cluster — подробнее об архитектуре и принципах работы HBase в инструкции.

      • Kafka streaming cluster — подробнее об архитектуре и принципах работы Kafka можно узнать в инструкции.

      ../_images/image62.jpeg

  4. Далее заполните следующие поля:

    1. Cluster Node ‣ Master ‣ Cluster HA — можно изменить количество управляющих узлов кластера. По умолчанию выбрано HA (High Availability) — 2 узла.

    2. Cluster Node ‣ Analysis Core — можно изменить количество узлов.

      Примечание

      Для изменения у узлов флейвора, характеристик и объемов дисков используйте значок Изменить (Edit).

    3. Username — имя пользователя для авторизации в узле (в сервере ECS) — «root», имя пользователя для авторизации в MRS Manager — «admin».

    4. Password и Confirm Password — введите и подтвердите пароль. Пароль будет единым для авторизации как в узле кластера, так и в MRS Manager.

    ../_images/image82.jpeg

  5. Все настройки создаваемого кластера отражаются в окне справа. Проверьте настройки.

    Внимание

    Обратите внимание, что при быстром варианте создания кластера проверка аутентификации Kerberos по умолчанию включена. Если нужен кластер с отключенной проверкой, то необходимо перейти к созданию кластера с пользовательскими настройками — Custom Config.

    В данном окне приведены полные настройки кластера: параметры настройки аппаратного и программного обеспечения, конфигурация управляющих и прочих узлов.

    ../_images/image92.jpeg

  6. Нажмите кнопку Create Now.

Создание кластера Custom Config

Software Configuration

  1. Выберите EI Enterprise Intelligence ‣ MapReduce Service.

  2. Нажмите кнопку Create Cluster.

  3. Заполните следующие поля и нажмите кнопку Next:

    1. Выберите вкладку Custom Config.

    2. Cluster Name — укажите имя кластера.

    3. Cluster Version — выберите из списка версию кластера.

      ../_images/image10.jpeg

    4. Cluster Type — выберите вид кластера, который нужно создать:

      • Analysis cluster — используется для анализа данных в автономном режиме, обеспечивается работой компонентов Hadoop.

      • Streaming cluster — используется для выполнения потоковых (streaming) задач.

      • Hybrid cluster — используется как для потоковых (streaming) задач и для задач исполняемых в автономном режиме, сочетает в себе возможности кластеров Analysis и Streaming.

    5. Component — выберите компоненты, которые требуется установить.

      ../_images/image112.jpeg

    6. Kerberos Authentication — кластерам MRS предоставляется два режима проверки подлинности: аутентификация Kerberos (режим безопасности) — переключатель активирован и простая аутентификация (обычный режим) — переключатель деактивирован.

    7. Username — admin — логин по умолчанию для авторизации в MRS Manager.

    8. Password и Confirm Password — введите и подтвердите пароль для авторизации в MRS Manager.

Configure Hardware

  1. Заполните следующие поля:

    1. VPC — выберите из списка сеть. Нажмите на View VPC для управления сетями или создания новой сети. Для обновления списка воспользуйтесь значком Обновить (Refresh).

    2. Subnet — выберите из списка подсеть.

    3. Security Group — выберите из списка группу безопасности или оставьте группу по умолчанию. Нажмите на Manage Security Group для управления группами или создания новой группы безопасности. Для обновления списка воспользуйтесь значком Обновить (Refresh).

    4. EIP — выберите из списка IP-адрес или оставьте Bind later, если EIP не требуется. Нажмите на Manage EIP для управления IP-адресами или создания нового адреса. Для обновления списка воспользуйтесь значком Обновить (Refresh).

    ../_images/image141.jpeg

  2. Заполните следующие поля:

    1. Cluster Node ‣ Master ‣Cluster HA — можно изменить количество управляющих узлов кластера. По умолчанию выбрано HA (High Availability) — 2 узла.

    2. Cluster Node ‣ Analysis Core или Cluster Node ‣ Streaming Core — можно изменить количество узлов.

    3. Cluster Node ‣ Analysis Task или Cluster Node ‣ Streaming Task — можно добавить рабочие узлы.

    Примечание

    Для изменения у узлов и задач флейвора, характеристик и объемов дисков используйте значок Изменить (Edit).

    ../_images/image151.jpeg

  3. В поле Login Mode выберите один из режимов аутентификации в узле (на сервере ECS) — Password или Key Pair:

    1. Password: «root» — логин по умолчанию для авторизации в узле, в поля Password и Confirm Password введите и подтвердите пароль.

    2. Key Pair: выберите из списка ключевую пару. Нажмите на View Key Pair для создания новой пары ключей. Для обновления списка воспользуйтесь значком Обновить (Refresh). Активируйте чек-бокс с соглашением.

  4. Нажмите кнопку Next.

Set Advanced Options

  1. Auto Scaling. Функция автомасштабирования (AS) позволяет определить количество рабочих узлов, которое можно автоматически увеличить или уменьшить в зависимости от загрузки сервиса или временного диапазона, что обеспечивает бесперебойную работу сервисов.

    Для настройки автомасштабирования активируйте переключатель и выберите какие из правил масштабирования нужно добавить:

    Примечание

    Автомасштабирование можно настроить только для рабочих узлов (nodes) кластера. Для добавления узлов вернитесь в предыдущий шаг Configure Hardware и добавьте узлы для Analysis Task и/или Streaming Task.

    1. Default Node Range — укажите минимальное и максимальное количество узлов в Analysis и/или Streaming task по умолчанию.

    2. Add Resource Plan — можно определить временной интервал и диапазон количества узлов.

    3. Add Auto Scaling Rule — можно добавить правила на увеличение или на уменьшение количества рабочих узлов.

    4. Add Automation Script — можно добавить скрипт, который будет запущен на нужном узле (Master, Analysis Core, Streaming Core, Analysis Task или Streaming Task), до или после процедуры автомасштабирования. Скрипт необходимо предварительно загрузить в корзину OBS.

      См.также

      Инструкцию по созданию корзины и загрузке объектов в нее можно посмотреть в разделе OBS.

      ../_images/image181.jpeg

  2. Bootstrap Action. С помощью Bootstrap Action можно запускать скрипты на указанном узле кластера до или после запуска компонентов с большими данными, можно устанавливать дополнительное стороннее программное обеспечение, производить изменения рабочей среды кластера и выполнять другие настройки.

    Чтобы добавить новое действие нажмите Add, заполните следующие поля и нажмите кнопку ОК:

    1. Name — укажите имя действия.

    2. Script Path — укажите путь к скрипту в корзине OBS.

    3. Parameter — введите описание.

    4. Execution Node — выберите, на каких именно узлах должен быть запущен скрипт.

      Переключатель Active Master появляется только при выборе управляющего (master) узла и указывает нужно ли запускать скрипт на всех управляющих узлах (переключатель не активирован) или только на активном (переключатель активирован).

    5. Execution Time — выберите, в какой момент нужно запустить скрипт: перед (Before initial component start) или после (After initial component start) запуска компонента.

    6. Action upon Failure — выберите действие скрипта в случае неудачного запуска: продолжить выполнение (Continue) или остановить (Stop).

    ../_images/image191.jpeg

  3. Проверьте настройки кластера в окне справа и нажмите кнопку Create Now.