Что делать, если возникает ошибка при изменении split value в приложении Spark?

Ошибка возникает при изменении максимального split-размера при использовании нескольких «мапперов» для ускорения. Однако при выполнении команды set $parameter появляется сообщение об ошибке.

Причины могут быть следующими:

  • При настройке параметра hive.security.whitelist.switch, чтобы включить или выключить whitelist в режиме безопасности, необходимо задать параметр, который будет запущен в hive.security.authorization.sqlstd.confwhitelist file.

  • Whitelist по умолчанию не содержит параметр mapred.max.split.size. Поэтому система оповещает о недопустимости изменения максимального split-размера.

Сделайте следующие шаги:

  1. Авторизуйтесь в MRS Manager.

  2. Выберите Services → Hive → Service Configuration.

  3. В поле Type выберите из списка «All».

  4. В меню слева выберите HiveServer → Security и в таблице найдите строку с hive.security.authorization.sqlstd.confwhitelist и добавьте mapred.max.split.size.

    См.также

    Подробности смотрите в статье «Using Hive from Scratch».

  5. После изменения перезапустите компонент Hive.

  6. Введите команду:

    set mapred.max.split.size=1000000

    Если ошибка не повторится, значит изменение прошло успешно.

Масштабная конференция
GoCloud 2024:
облачные грани будущего