Просмотр и изменение кластера

Для просмотра и изменения кластера необходимо выполнить следующую последовательность действий:

  1. Выберите EI Enterprise Intelligence → MapReduce Service.

  2. В боковом меню слева выберите Clusters → Active Clusters.

  3. Нажмите на название кластера.

  4. Настройки кластера располагаются на следующих вкладках:

    1. Dashboard — на данной вкладке можно узнать базовую информацию о кластере, а также произвести мониторинг основных метрик.

    2. Nodes — список и управление узлами кластера в разрезе вида и назначения узла.

    3. Components — отображается список компонентов кластера.

    4. Alarms — на данной вкладке отображаются ошибки, такие как некорректная работа кластера или системные ошибки, а также можно посмотреть операции, совершенные в кластере, и настроить правила оповещения.

    5. Patches — сервис MRS предоставляет унифицированные функции развертывания исправлений и управления ими, помогая предотвращать и решать проблемы. Патчи используются только для устранения неполадок и не предоставляют новых функций кластеру.

    6. Files — на данной вкладке осуществляется управление каталогами и файлами HDFS.

    7. Jobs — создание и управление заданиями.

    8. Tenants — доступ к кластеру MRS можно настроить для различных пользователей и приложений, используя тенанты. На вкладке Tenants происходит создание новых тенантов, управление тенантами и распределение ресурсов между ними.

    9. Backup & Restoration — на данной вкладке есть возможность произвести процедуру резервного копирования данных кластера, а также восстановить данные из сохраненной ранее копии.

    10. Bootstrap Actions — отображается список Bootstrap Actions, который был добавлен на этапе создания кластера.

      ../_images/s__tabs-with-cluster-settings.jpeg
  5. В строке меню кластера можно сделать следующее:

    1. Список задач — посмотреть список задач.

    2. Critical — перейти к списку аварийных оповещений со статусом «Critical».

    3. Major — перейти к списку аварийных оповещений со статусом «Major».

    4. Minor — перейти к списку аварийных оповещений со статусом «Minor».

    5. Suggestion — перейти к списку аварийных оповещений со статусом «Suggestion».

    6. Download Authentication Credential — скачать файлы для прохождения аутентификации.

    7. Management Operations — выполнить следующие операции:

      • Start All Components — запуск всех компонентов кластера.

      • Stop All Components — остановка всех компонентов кластера.

      • Perform Rolling Cluster Restart — выполнение скользящего обновления кластера.

      • Check Cluster Health Status — проверка статуса исправности кластера.

      • Show Cluster Health Check Report — показать отчет статуса исправности кластера.

    8. Configure — выполнить следующие операции:

      • Synchronize Configuration — запуск процедуры синхронизации настроек кластера.

      • Export Cluster Configuration — экспорт настроек кластера в XML-файл.

    9. OM — выполнить следующие операции:

      • Authorize OM или Cancel Authorization — выдача и отмена временного разрешения на авторизацию.

      • Share Log — выгрузка журнала логов.

      • Metric Sharing — выгрузка метрик.

    ../_images/s__cluster-menu.jpeg

Dashboard

На вкладке Dashboard можно узнать базовую информацию о кластере, а также произвести мониторинг основных метрик.

Примечание

Вид данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, мониторинг основных показателей можно увидеть только через MRS Manager. Ниже пример вкладки Dashboard кластера после процедуры синхронизации.

  • Cluster Name — название кластера.

  • Cluster Status — статус кластера.

  • MRS Managerдоступ в MRS Manager.

    Для доступа необходим свободный IP-адрес. Если доступ уже настроен, то привязанный к кластеру EIP будет отражаться в поле EIP.

  • Billing Mode — режим оплаты за сервис.

  • Cluster Version — используемая версия кластера.

  • Cluster Type — тип кластера.

  • Cluster ID — идентификационный номер кластера.

  • Created — дата и время создания кластера.

  • AZ — зона доступности.

  • Subnet — подсеть.

  • VPC — сеть.

  • EIP — внешний IP-адрес, привязанный к кластеру в случае подключения к MRS Manager.

    Для изменения или добавления правил группы безопасности кластера нажмите на Add Security Group Rule.

  • Kerberos Authentication — отражает, включена (Enabled) или нет (Disabled) проверка подлинности Kerberos.

  • Logging — опция записи логов.

  • Security Group — группа безопасности создается автоматически или выбирается нужная на этапе создания кластера.

  • IAM User Sync — после запуска синхронизации пользователи IAM, у которых есть право доступа к MRS, будут синхронизированы (статус сменится с «Not Synchronized» на «Synchronized»).

Nodes

На вкладке Nodes расположена информация об узлах кластера в разрезе их назначения.

  1. Configure Task Node — нажмите на кнопку, чтобы добавить новый рабочий узел.

  2. Node Operation — можно выполнить следующие действия:

    • Start All Roles — запуск всех ролей. Для проверки наличия неисправного узла нужно остановить все роли, а потом снова их запустить после того, как ошибка устранена.

    • Stop All Roles — остановка всех ролей.

    • Isolate Host — узел можно временно исключить из числа доступных узлов кластера в некоторых ситуациях, например, если неисправный узел влияет на общую производительность кластера или если нужно исключить указанный узел при установке патчей.

      Примечание

      Управляющие узлы изолировать нельзя.

    • Cancel Host Isolation — отменить изоляцию узла.

    • Start Host Health Check — запустить проверку исправности хоста.

  3. Scale Out — увеличение количества узлов.

  4. Scale In — уменьшение количества узлов.

  5. Auto Scaling — настройка правила автомасштабирования, а также настройка правила запуска скрипта.

    ../_images/s__nodes-info.jpeg

Components

На вкладке Components расположена информация обо всех компонентах кластера и инструменты управления ими.

Примечание

Доступность данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, вкладка недоступна и информацию по компонентам можно увидеть только через MRS Manager. Ниже пример вкладки после процедуры синхронизации.

  1. Download Client — нажмите для скачивания конфигурационного файла.

  2. Refresh Every 30s — выберите частоту обновления информации о компонентах (обновление каждые 30 или 60 секунд, прекратить обновление).

  3. Start — запуск компонента.

  4. Stop — остановка компонента.

  5. Restart — перезагрузка компонента.

  6. При нажатии на название компонента вы попадете на страницы с информацией, мониторингом и инструментами для управления компонентом.

    ../_images/s__componets-info.jpeg

Alarms

На вкладке Alarms отображается список всех оповещений.

Вкладка Alarms:

  1. Export All — экспорт списка оповещений в TXT или CSV-файл.

  2. Clear Alarm — выключить оповещение.

  3. Refresh Every 30s — выберите частоту обновления информации об оповещениях (обновление каждые 30 или 60 секунд, прекратить обновление).

  4. All — фильтрация списка отображаемых оповещений (All, Critical, Major, Minor, Suggestion).

  5. Advanced Search — расширенный поиск оповещений. Позволяет искать по таким параметрам, как: Alarm ID, Alarm Name, Alarm Status и Time Range.

  6. Clear Alarm — выключить определенное оповещение.

    ../_images/s__alarm-info.jpeg

Вкладка Events:

  1. Export All — экспорт списка оповещений в TXT или CSV-файл.

  2. Refresh Every 30s — выберите частоту обновления информации об оповещениях (обновление каждые 30 или 60 секунд, прекратить обновление).

  3. Advanced Search — расширенный поиск оповещений. Позволяет искать по таким параметрам, как: Alarm ID, Alarm Name, Alarm Status и Time Range.

../_images/s__tab-events-info.jpeg

Вкладка Notification Rules:

  1. Add Notification Ruleдобавить правило оповещения.

  2. Edit — изменить правило оповещения.

  3. Delete — удалить правило оповещения.

../_images/s__tab-notification-rule.jpeg

Patches

На вкладке Patches будут появляться системные обновления. По мере поступления можно просматривать информацию о новом патче и принимать решение о его установке.

На данной вкладке можно произвести следующие операции:

  • View Details — просмотреть информацию о патче.

  • Install — установить определенный патч.

  • Uninstall — откатить установку патча.

Примечание

Описанные выше опции появятся только после выпуска патча.

../_images/s__patches-info.jpeg

Files

На вкладке Files происходит управление файлами хранилища HDFS.

Вкладка HDFS File List:

  1. Create Folder — создать папку.

  2. Import Data — импорт данных из OBS в HDFS.

  3. Export Data — экспорт данных из HDFS в OBS.

  4. Delete — удалить данные (объект или папку).

    ../_images/s__tab-files-info.jpeg

Вкладка File Operation Records:

View Log — просмотр журнала логов по операции.

Jobs

На вкладке Jobs расположен список и управление всеми созданными и запущенными вами заданиями.

  1. Createсоздать новое задание.

  2. Delete — удалить задание(-ия).

  3. Фильтрация по дате создания задания.

  4. All statuses — фильтрация по статусу задания («All statuses», «Successful», «Undefined», «Killed» и «Failed»).

  5. All types — фильтрация по типу задания. Если тип задания DistCp — относится к импорту/экспорту объектов в/из HDFS.

  6. Фильтрация по названию задания.

  7. View Log — просмотр журнала логов.

  8. View Details — подробная информация о задании.

  9. More — можно выполнить следующие действия:

    • Stop — остановить запущенное задание.

    • Delete — удалить задание.

../_images/s__tab-jobes-info.jpeg

Tenants

Кластер MRS предоставляет различные ресурсы и услуги для совместного использования несколькими отделами или приложениями. Тенанты (tenants) — это логическая сущность, имеющая возможность использовать ресурсы и сервисы.

В настоящее время функцию использования тенантов поддерживают только аналитические кластеры (analysis clusters).

Примечание

Доступность данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, то управление тенантами возможно только через MRS Manager. Ниже пример вкладки Tenants после процедуры синхронизации.

Вкладка Tenants:

  1. Create Tenantсоздать новый тенант.

  2. Restore Tenant Data — при восстановлении компонентов при переустановке или после сбоев, некоторые конфигурационные данные тенанта могут сбиться. В этом случае нужно восстановить данные тенанта вручную.

  3. Выберите тенант, информацию по которому нужно вывести на экран.

  4. Summary — текущая вкладка с общей информацией по тенанту и выделенной на него квотой ресурсов.

  5. Resources — вкладка с информацией по ресурсам и управление хранилищем HDFS.

  6. Service Association — здесь представлена информация по ресурсам других компонентов, связанных с тенантом.

  7. Users — на данной вкладке отображена информация о всех пользователях и группах пользователей, которые относятся к тенанту.

  8. View — для просмотра статистики по тенанту выберите в поле период просмотра (для выбора нужных дат отображения выберите из списка Customize) и нажмите View.

    ../_images/s__tenants-info.jpeg

Вкладка Resource Pool:

  1. Create Resource Poll — создать пул ресурсов. В кластере MRS можно логически разделить узлы компонента Yarn, чтобы объединить несколько NodeManagers в пул ресурсов Yarn. Каждый NodeManager принадлежит только одному пулу ресурсов. По умолчанию в системе создан пул ресурсов «default». Все NodeManagers, которые не добавлены в пользовательские пулы ресурсов, принадлежат пулу ресурсов «default».

  2. Modify — изменить пользовательский пул ресурсов.

  3. Delete — удалить пользовательский пул ресурсов.

    ../_images/s__create-resource-pool.jpeg

Вкладка Resource Distribution Policy:

  1. Resource Pool — выберите из списка нужный пул ресурсов.

  2. Available Resource Quota — показывает процент доступности ресурсов в пуле.

  3. Capacity — процент использования вычислительных ресурсов текущего тенанта. Можно изменить данный процент через опцию Modify.

  4. Maximum Capacity — процент максимального использования вычислительных ресурсов текущего тенанта. Можно изменить данный процент через опцию Modify.

  5. Modify — изменить проценты использования и максимального использования ресурсов текущего тенанта.

  6. Clear — очистить данные.

../_images/s__resource-distribution-policy.jpeg

Вкладка Queue Configuration:

  1. Maximum Applications — максимальное количество приложений. По умолчанию 1000.

  2. Maximum AM Resources Percent — максимальный коэффициент ресурсов, которые могут быть использованы для Application Master (от 0 до 1).

  3. Minimum User Resource Upper-Limit Percent (%) — минимальный процент использования ресурсов.

  4. User Resource Upper-Limit Factor — максимальный предел использования ресурсов пользователем.

  5. Status — статус очереди.

  6. Default Resource Pool — пул ресурсов, используемый очередью.

  7. Modify — изменить настройки очереди (все описанные выше поля).

    ../_images/s__queue-configuration.jpeg

Backup & Restoration

На вкладке Backup & Restoration можно создавать резервные копии кластера, а также восстанавливать кластер из сохраненных ранее копий.

Примечание

Доступность данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, то управление резервными копиями возможно только через MRS Manager. Ниже пример вкладки Backup & Restoration после процедуры синхронизации.

Вкладка Back Up Data:

  1. Create Backup Taskсоздать задание на бэкап.

  2. Start — запуск бэкапа (только для режима Manual).

  3. Modify — изменить максимальное количество копий бэкапа.

  4. More — выберите из списка одну из опций:

    • Stop — остановить процедуру бэкапа.

    • Delete — удалить задание.

    • Suspend/Resume — приостановить запуск задания бэкапа (только для режима Periodic).

    • View History → View Backup Path — путь к бэкапу.

    • View History → View Details — просмотреть журнал логов выполненного задания.

  5. Back Up Now — внеочередной запуск бэкапа (только для режима Periodic).

    ../_images/s__tab-backup-data.jpeg

Вкладка Restore Data:

  1. Create Restoration Task — создать задание на восстановление из резервной копии.

  2. View Details — посмотреть параметры задания.

  3. More — выберите из списка одну из опций:

    • Delete — удалить задание.

    • View History → View Details — просмотреть журнал логов выполненного задания.

    ../_images/s__tab-restore-data.jpeg

Bootstrap Actions

С помощью Bootstrap Action можно запускать скрипты на указанном узле кластера до или после запуска компонентов с большими данными, можно устанавливать дополнительное стороннее программное обеспечение, производить изменения рабочей среды кластера и выполнять другие настройки.

Bootstrap Action можно добавить на этапе создания кластера, а также в рамках автомасштабирования исполняющих узлов кластера.

На данной странице отображены действия, которые были настроены во время создания кластера, и статус их выполнения.

Журнал логов можно найти на главном управляющем узле (название узла вида node_master1\). Путь к журналу: /var/log/Bootstrap/.

../_images/s__bootstrap-actions.jpeg
Масштабная конференция
GoCloud 2024:
облачные грани будущего