Что делать, если возникает ошибка при изменении split value в приложении Spark?

Ошибка возникает при изменении максимального split-размера, для использования нескольких «мапперов» (mappers) для ускорения. Однако при выполнении команды set $parameter появляется сообщение об ошибке.

Причины могут быть следующими:

  • При настройке параметра hive.security.whitelist.switch, чтобы включить или выключить whitelist в режиме безопасности, необходимо задать параметр, который будет запущен в hive.security.authorization.sqlstd.confwhitelist file.

  • Whitelist по умолчанию не содержит параметр mapred.max.split.size. Поэтому система оповещает о недопустимости изменения максимального split-размера.

Сделайте следующие шаги:

  1. Авторизуйтесь в MRS Manager.

  2. Выберите Services ‣ Hive ‣ Service Configuration.

  3. В поле Type выберите из списка «All».

  4. В меню слева выберите HiveServer ‣ Security и в таблице найдите строку с hive.security.authorization.sqlstd.confwhitelist и добавьте mapred.max.split.size.

    См.также

    Подробности смотрите в статье «Using Hive from Scratch».

  5. После изменения перезапустите компонент Hive.

  6. Введите команду:

    set mapred.max.split.size=1000000

    Если ошибка не повторится, значит изменение прошло успешно.