Просмотр и изменение кластера

  1. Выберите EI Enterprise Intelligence ‣ MapReduce Service.

  2. В боковом меню слева выберите Clusters ‣ Active Clusters.

  3. Нажмите на имя кластера.

    ../_images/image231.jpeg
  4. Настройки кластера располагаются на следующих вкладках:

    1. Dashboard — на данной вкладке можно узнать базовую информацию о кластере, а также производить мониторинг основных метрик.

    2. Nodes — список и управление узлами кластера в разрезе вида и назначения узла.

    3. Components — отображается список компонентов кластера.

    4. Alarms — на данной вкладке отображаются ошибки, такие как некорректная работа кластера или системные ошибки, а также можно посмотреть операции, совершенные в кластере, и настроить правила оповещения.

    5. Patches — сервис MRS предоставляет унифицированные функции развертывания исправлений и управления ими, помогая предотвращать и решать проблемы. Патчи используются только для устранения неполадок и не предоставляют новых функций кластеру.

    6. Files — на данной вкладке осуществляется управление директориями и файлами HDFS.

    7. Jobs — создание и управление заданиями.

    8. Tenants — доступ к кластеру MRS можно настроить для различных пользователей и приложений используя тенанты. На вкладке Tenants происходит создание новых тенантов, управление тенантами и распределение ресурсов между ними.

    9. Backup & Restoration — на данной вкладке есть возможность произвести процедуру резервного копирования данных кластера, а также восстановить данные из сохраненной ранее копии.

    10. Bootstrap Actions — отображается список Bootstrap Actions, которые были добавлены на этапе создания кластера.

      ../_images/image241.jpeg
  5. В строке меню кластера можно сделать следующее:

    1. Список задач — посмотреть список задач.

    2. Critical — перейти к списку аварийных оповещений со статусом Critical.

    3. Major — перейти к списку аварийных оповещений со статусом Major.

    4. Minor — перейти к списку аварийных оповещений со статусом Minor.

    5. Suggestion — перейти к списку аварийных оповещений со статусом Suggestion.

    6. Download Authentication Credential — скачать файлы для прохождения аутентификации.

    7. Management Operations — позволяет выполнить следующие операции:

      • Start All Components — запуск все компонентов кластера.

      • Stop All Components — остановка все компонентов кластера.

      • Perform Rolling Cluster Restart — выполнение скользящего обновления кластера.

      • Check Cluster Health Status — проверка статуса исправности кластера.

      • Show Cluster Health Check Report — показать отчет статуса исправности кластера.

    8. Configure — позволяет выполнить следующие операции:

      • Synchronize Configuration — запуск процедуры синхронизации настроек кластера.

      • Export Cluster Configuration — экспорт настроек кластера в XML-файл.

    9. OM — позволяет выполнить следующие операции:

      • Authorize OM или Cancel Authorization — выдача и отмена временного разрешения на авторизацию.

      • Share Log — выгрузка журнала логов.

      • Metric Sharing — выгрузка метрик.

    ../_images/image301.jpeg

Dashboard

На вкладке Dashboard можно узнать базовую информацию о кластере, а также производить мониторинг основных метрик.

Примечание

Вид данной вкладки зависит от того синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, мониторинг основных показателей можно увидеть только через MRS Manager. Ниже пример вкладки Dashboard кластера после процедуры синхронизации.

  1. Cluster Name — имя кластера.

  2. Cluster Status — статус кластера.

  3. MRS Managerдоступ в MRS Manager. Для доступа необходим свободный IP-адрес (EIP). Если доступ уже настроен, то привязанный к кластеру EIP будет отражаться в поле EIP.

  4. Billing Mode — режим оплаты за сервис.

  5. Cluster Version — используемая версия кластера.

  6. Cluster Type — тип кластера.

  7. Cluster ID — идентификационный номер кластера.

  8. Created — дата и время создания кластера.

  9. AZ — зона доступности.

  10. Subnet — подсеть.

  11. VPC — сеть.

  12. EIP — внешний IP-адрес, привязанный к кластеру в случае подключения к MRS Manager. Для изменения или добавления правил группы безопасности кластера нажмите на Add Security Group Rule.

  13. Kerberos Authentication — отражает включена (Enabled) или нет (Disabled) проверка подлинности Kerberos.

  14. Logging — опция записи логов.

  15. Security Group — группа безопасности создается автоматически или выбирается нужная на этапе создания кластера.

  16. IAM User Sync — после запуска синхронизации пользователи IAM, у которых есть право доступа к MRS, будут синхронизированы (статус сменится с Not Synchronized на Synchronized).

    ../_images/image311.jpeg

Nodes

На вкладке Nodes расположена информация об узлах кластера в разрезе их назначения.

  1. Configure Task Node — нажмите на кнопку, чтобы добавить новый рабочий узел.

  2. Node Operation — можно выполнить следующие действия:

    • Start All Roles — запуск всех ролей. Для проверки наличия неисправного узла нужно остановить все роли, а потом снова их запустить после того, как ошибка устранена.

    • Stop All Roles — остановка всех ролей.

    • Isolate Host — узел можно временно исключить из числа доступных узлов кластера в некоторых ситуациях, например, если неисправный узел влияет на общую производительность кластера, или если нужно исключить указанный узел при установке патчей.

      Примечание

      Управляющие узлы изолировать нельзя.

    • Cancel Host Isolation — отменить изоляцию узла.

    • Start Host Health Check — запустить проверку исправности хоста.

  3. Scale Out — увеличение количества узлов.

  4. Scale In — уменьшение количества узлов.

  5. Auto Scaling — настройка правила автомасштабирования, а также настройка правила запуска скрипта.

    ../_images/image321.jpeg

Components

На вкладке Components расположена информация обо всех компонентах кластера и инструменты управления ими.

Примечание

Доступность данной вкладки зависит от того синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, вкладка недоступна и информацию по компонентам можно увидеть только через MRS Manager. Ниже пример вкладки после процедуры синхронизации.

  1. Download Client — нажмите, для скачивания конфигурационного файла.

  2. Refresh Every 30s — выберите частоту обновления информации о компонентах (обновление каждые 30 или 60 секунд, прекратить обновление).

  3. Start — запуск компонента.

  4. Stop — остановка компонента.

  5. Restart — перезагрузка компонента.

  6. При нажатии на имя компонента вы попадете на страницы с информацией, мониторингом и инструментами для управления компонентом.

    ../_images/image331.jpeg

Alarms

На вкладке Alarms отображается список всех оповещений.

Вкладка Alarms:

  1. Export All — экспорт списка оповещений в TXT или CSV файл.

  2. Clear Alarm — выключить оповещение.

  3. Refresh Every 30s — выберите частоту обновления информации об оповещениях (обновление каждые 30 или 60 секунд, прекратить обновление).

  4. All — фильтрация списка отображаемых оповещений (All, Critical, Major, Minor, Suggestion).

  5. Advanced Search — расширенный поиск оповещений. Позволяет искать по таким параметрам, как: Alarm ID, Alarm Name, Alarm Status и Time Range.

  6. Clear Alarm — выключить определенное оповещение.

    ../_images/image341.jpeg

Вкладка Events:

  1. Export All — экспорт списка оповещений в TXT или CSV файл.

  2. Refresh Every 30s — выберите частоту обновления информации об оповещениях (обновление каждые 30 или 60 секунд, прекратить обновление)

  3. Advanced Search — расширенный поиск оповещений. Позволяет искать по таким параметрам, как: Alarm ID, Alarm Name, Alarm Status и Time Range.

../_images/image351.jpeg

Вкладка Notification Rules:

  1. Add Notification Ruleдобавить правило оповещения.

  2. Edit — изменить правило оповещения.

  3. Delete — удалить правило оповещения.

../_images/image361.jpeg

Patches

На вкладке Patches будут появляться системные обновления. По мере поступления можно просматривать информацию о новом патче и принять решение о его установке.

На данной вкладке можно произвести следующие операции:

  • View Details — просмотр информации о патче.

  • Install — установить определенный патч.

  • Uninstall — откатить установку патча.

Примечание

Описанные выше опции появятся только после выпуска патча.

../_images/image371.jpeg

Files

На вкладке Files происходит управление файлами хранилища HDFS.

Вкладка HDFS File List:

  1. Create Folder — создать папку.

  2. Import Data — импорт данных из OBS в HDFS.

  3. Export Data — экспорт данных из HDFS в OBS.

  4. Delete — удалить данные (объект или папку).

    ../_images/image381.jpeg

Вкладка File Operation Records:

View Log — просмотр журнала логов по операции.

../_images/image391.jpeg

Jobs

На вкладке Jobs расположен список и управление всеми созданными и запущенными вами заданиями.

  1. Createсоздать новое задание.

  2. Delete — удалить задание(-ия).

  3. Фильтрация по дате создания задания.

  4. All statuses — фильтрация по статусу задания (All statuses, Successful, Undefined, Killed и Failed).

  5. All types — фильтрация по типу задания. Если тип задания DistCp — относится к импорту/экспорту объектов в/из HDFS.

  6. Фильтрация по имени задания.

  7. View Log — просмотр журнала логов.

  8. View Details — подробная информация о задании.

  9. More — можно выполнить следующие действия:

    • Stop — остановить запущенное задание.

    • Delete — удалить задание.

../_images/image40.jpeg

Tenants

Кластер MRS предоставляет различные ресурсы и услуги для совместного использования несколькими отделами или приложениями. Тенанты (tenants) — это логическая сущность, имеющая возможность использовать ресурсы и сервисы.

В настоящее время функцию использования тенантов поддерживают только аналитические кластеры (analysis clusters).

Примечание

Доступность данной вкладки зависит от того синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, то управление тенатами возможно только через MRS Manager. Ниже пример вкладки Tenants после процедуры синхронизации.

Вкладка Tenants:

  1. Create Tenantсоздать новый тенант.

  2. Restore Tenant Data — при восстановлении компонентов при переустановке или после сбоев, некоторые конфигурационные данные тенанта могут сбиться. В этом случае нужно восстановить данные тенанта вручную.

  3. Выберите тенант, информацию по которому нужно вывести на экран.

  4. Summary — текущая вкладка с общей информацией по тенанту и выделенной на него квотой ресурсов.

  5. Resources — вкладка с информацией по ресурсам и управление хранилищем HDFS.

  6. Service Association — здесь представлена информация по ресурсам других компонентов, связанных с тенантом.

  7. Users — на данной вкладке отображена информация о всех пользователях и группах пользователей, которые относятся к тенанту.

  8. View — для просмотра статистики по тенанту выберите в поле период просмотра (для выбора нужных дат отображения выберите из списка Customize) и нажмите кнопку View.

    ../_images/image411.jpeg

Вкладка Resource Pool:

  1. Create Resource Poll — создать пул ресурсов. В кластере MRS можно логически разделить узлы компонента Yarn, чтобы объединить несколько NodeManagers в пул ресурсов Yarn. Каждый NodeManager принадлежит только одному пулу ресурсов. По умолчанию в системе создан пул ресурсов default. Все NodeManagers, которые не добавлены в пользовательские пулы ресурсов, принадлежат пулу ресурсов default.

  2. Modify — изменить пользовательский пул ресурсов.

  3. Delete — удалить пользовательский пул ресурсов.

    ../_images/image421.jpeg

Вкладка Resource Distribution Policy:

  1. Resource Pool — выберите из списка нужный пул ресурсов.

  2. Available Resource Quota — показывает процент доступности ресурсов в пуле.

  3. Capacity — процент использования вычислительных ресурсов текущего тенанта. Можно изменить данный процент через опцию Modify.

  4. Maximum Capacity — процент максимального использования вычислительных ресурсов текущего тенанта. Можно изменить данный процент через опцию Modify.

  5. Modify — изменить проценты использования и максимального использования ресурсов текущего тенанта.

  6. Clear — очистить данные.

../_images/image43.jpeg

Вкладка Queue Configuration:

  1. Maximum Applications — максимальное количество приложений. По умолчанию 1000.

  2. Maximum AM Resources Percent — максимальный коэффициент ресурсов, которые могут быть использованы для Application Master (от 0 до 1).

  3. Minimum User Resource Upper-Limit Percent (%) — минимальный процент использования ресурсов.

  4. User Resource Upper-Limit Factor — максимальный предел использования ресурсов пользователем.

  5. Status — статус очереди.

  6. Default Resource Pool — пул ресурсов, используемый очередью.

  7. Modify — изменить настройки очереди (все описанные выше поля).

    ../_images/image44.jpeg

Backup & Restoration

На вкладке Backup & Restoration можно создавать резервные копии кластера, а также восстанавливать кластер из сохраненных ранее копий.

Примечание

Доступность данной вкладки зависит от того синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, то управление резервными копиями возможно только через MRS Manager. Ниже пример вкладки Backup & Restoration после процедуры синхронизации.

Вкладка Back Up Data:

  1. Create Backup Taskсоздать задание на бэкап.

  2. Start — запуск бэкапа (только для режима Manual).

  3. Modify — изменить максимальное количество копий бэкапа.

  4. More — выберите из списка одну из опций:

    • Stop — остановить процедуру бэкапа.

    • Delete — удалить задание.

    • Suspend/Resume — приостановить запуск задания бэкапа (только для режима Periodic).

    • View History ‣ View Backup Path — путь к бэкапу.

    • View History ‣ View Details — просмотреть журнал логов выполненного задания.

  5. Back Up Now — внеочередной запуск бэкапа (только для режима Periodic).

    ../_images/image45.jpeg

Вкладка Restore Data:

  1. Create Restoration Task — создать задание на восстановление из резервной копии.

  2. View Details — посмотреть параметры задания.

  3. More — выберите из списка одну из опций:

    • Delete — удалить задание.

    • View History ‣ View Details — просмотреть журнал логов выполненного задания.

    ../_images/image46.jpeg

Bootstrap Actions

С помощью Bootstrap Action можно запускать скрипты на указанном узле кластера до или после запуска компонентов с большими данными, можно устанавливать дополнительное стороннее программное обеспечение, производить изменения рабочей среды кластера и выполнять другие настройки.

Bootstrap Action можно добавить на этапе создания кластера, а также в рамках автомасштабирования исполняющих узлов кластера.

На данной странице отображены действия, которые были настроены во время создания кластера, и статус их выполнения.

Журнал логов можно найти на главном управляющем узле (имя узла вида node_master1\). Путь к журналу: /var/log/Bootstrap/.

../_images/image47.jpeg