Что делать, если при использовании Spark возникает ошибка?

Если при использовании Spark не запускается кластер, то это может быть по следующим причинам:

  • Использование в командах недопустимых символов.

  • В загруженном JAR-файле неверный owner или owner group.

Сделайте следующее:

  1. Для проверки наличия недопустимых символов запустите команду:

    /bin/spark-submit --class cn.interf.Test --master yarn-client/opt/client/Spark/spark1-1.0-SNAPSHOT.jar

  2. Если недопустимые символы присутствовали, то исправьте их и проверьте — снова запустите команду.

  3. Если возникла другая ошибка — в загруженном JAR-файле owner и owner grouproot.

  4. Измените в JAR-файле owner и owner group на omm:wheel.

Масштабная конференция
GoCloud 2024:
облачные грани будущего