Создание кластера¶
Создать кластер можно двумя способами:
Quick Config — предлагает быстрое создание кластера, с предустановленными настройками.
Custom Config — гибкое управление настройками кластера.
Создание кластера Quick Config¶
Выберите
.Нажмите кнопку Create Cluster.
Заполните следующие поля:
Выберите вкладку Quick Config.
Cluster Name — укажите имя кластера.
Cluster Version — выберите из списка версию кластера.
Component — выберите один из компонентов:
Hadoop analysis cluster — подробнее об архитектуре и принципах работы Hadoop можно узнать здесь.
HBase analysis cluster — подробнее об архитектуре и принципах работы HBase в инструкции.
Kafka streaming cluster — подробнее об архитектуре и принципах работы Kafka можно узнать в инструкции.
Далее заполните следующие поля:
HA (High Availability) — 2 узла.
— можно изменить количество управляющих узлов кластера. По умолчанию выбрано— можно изменить количество узлов.
Примечание
Для изменения у узлов флейвора, характеристик и объемов дисков используйте значок
(Edit).
Username — имя пользователя для авторизации в узле (в сервере ECS) — «root», имя пользователя для авторизации в MRS Manager — «admin».
Password и Confirm Password — введите и подтвердите пароль. Пароль будет единым для авторизации как в узле кластера, так и в MRS Manager.
Все настройки создаваемого кластера отражаются в окне справа. Проверьте настройки.
Внимание
Обратите внимание, что при быстром варианте создания кластера проверка аутентификации Kerberos по умолчанию включена. Если нужен кластер с отключенной проверкой, то необходимо перейти к созданию кластера с пользовательскими настройками — Custom Config.
В данном окне приведены полные настройки кластера: параметры настройки аппаратного и программного обеспечения, конфигурация управляющих и прочих узлов.
Нажмите кнопку Create Now.
Создание кластера Custom Config¶
Software Configuration¶
Выберите
.Нажмите кнопку Create Cluster.
Заполните следующие поля и нажмите кнопку Next:
Выберите вкладку Custom Config.
Cluster Name — укажите имя кластера.
Cluster Version — выберите из списка версию кластера.
Cluster Type — выберите вид кластера, который нужно создать:
Analysis cluster — используется для анализа данных в автономном режиме, обеспечивается работой компонентов Hadoop.
Streaming cluster — используется для выполнения потоковых (streaming) задач.
Hybrid cluster — используется как для потоковых (streaming) задач и для задач исполняемых в автономном режиме, сочетает в себе возможности кластеров Analysis и Streaming.
Component — выберите компоненты, которые требуется установить.
Kerberos Authentication — кластерам MRS предоставляется два режима проверки подлинности: аутентификация Kerberos (режим безопасности) — переключатель активирован и простая аутентификация (обычный режим) — переключатель деактивирован.
Username — admin — логин по умолчанию для авторизации в MRS Manager.
Password и Confirm Password — введите и подтвердите пароль для авторизации в MRS Manager.
Configure Hardware¶
Заполните следующие поля:
VPC — выберите из списка сеть. Нажмите на View VPC для управления сетями или создания новой сети. Для обновления списка воспользуйтесь значком
(Refresh).
Subnet — выберите из списка подсеть.
Security Group — выберите из списка группу безопасности или оставьте группу по умолчанию. Нажмите на Manage Security Group для управления группами или создания новой группы безопасности. Для обновления списка воспользуйтесь значком
(Refresh).
EIP — выберите из списка IP-адрес или оставьте Bind later, если EIP не требуется. Нажмите на Manage EIP для управления IP-адресами или создания нового адреса. Для обновления списка воспользуйтесь значком
(Refresh).
Заполните следующие поля:
HA (High Availability) — 2 узла.
— можно изменить количество управляющих узлов кластера. По умолчанию выбраноили — можно изменить количество узлов.
или — можно добавить рабочие узлы.
Примечание
Для изменения у узлов и задач флейвора, характеристик и объемов дисков используйте значок
(Edit).
В поле Login Mode выберите один из режимов аутентификации в узле (на сервере ECS) — Password или Key Pair:
Password: «root» — логин по умолчанию для авторизации в узле, в поля Password и Confirm Password введите и подтвердите пароль.
Key Pair: выберите из списка ключевую пару. Нажмите на View Key Pair для создания новой пары ключей. Для обновления списка воспользуйтесь значком
(Refresh). Активируйте чек-бокс с соглашением.
Нажмите кнопку Next.
Set Advanced Options¶
Auto Scaling. Функция автомасштабирования (AS) позволяет определить количество рабочих узлов, которое можно автоматически увеличить или уменьшить в зависимости от загрузки сервиса или временного диапазона, что обеспечивает бесперебойную работу сервисов.
Для настройки автомасштабирования активируйте переключатель и выберите какие из правил масштабирования нужно добавить:
Примечание
Автомасштабирование можно настроить только для рабочих узлов (nodes) кластера. Для добавления узлов вернитесь в предыдущий шаг Configure Hardware и добавьте узлы для Analysis Task и/или Streaming Task.
Default Node Range — укажите минимальное и максимальное количество узлов в Analysis и/или Streaming task по умолчанию.
Add Resource Plan — можно определить временной интервал и диапазон количества узлов.
Add Auto Scaling Rule — можно добавить правила на увеличение или на уменьшение количества рабочих узлов.
Add Automation Script — можно добавить скрипт, который будет запущен на нужном узле (Master, Analysis Core, Streaming Core, Analysis Task или Streaming Task), до или после процедуры автомасштабирования. Скрипт необходимо предварительно загрузить в корзину OBS.
См.также
Инструкцию по созданию корзины и загрузке объектов в нее можно посмотреть в разделе OBS.
Bootstrap Action. С помощью Bootstrap Action можно запускать скрипты на указанном узле кластера до или после запуска компонентов с большими данными, можно устанавливать дополнительное стороннее программное обеспечение, производить изменения рабочей среды кластера и выполнять другие настройки.
Чтобы добавить новое действие нажмите Add, заполните следующие поля и нажмите кнопку ОК:
Name — укажите имя действия.
Script Path — укажите путь к скрипту в корзине OBS.
Parameter — введите описание.
Execution Node — выберите, на каких именно узлах должен быть запущен скрипт.
Переключатель Active Master появляется только при выборе управляющего (master) узла и указывает нужно ли запускать скрипт на всех управляющих узлах (переключатель не активирован) или только на активном (переключатель активирован).
Execution Time — выберите, в какой момент нужно запустить скрипт: перед (Before initial component start) или после (After initial component start) запуска компонента.
Action upon Failure — выберите действие скрипта в случае неудачного запуска: продолжить выполнение (Continue) или остановить (Stop).
Проверьте настройки кластера в окне справа и нажмите кнопку Create Now.