Что делать, если после отправки задания (job) Flume в Spark Streaming появилось сообщение об ошибке «The class cannot be found»?

Если после архивирования кода Spark Streaming в JAR-файл и его загрузки в кластер, появилось сообщение об ошибке «The class cannot be found», и следующие действия не помогли решить проблему:

  • При отправке задания Spark выполнение команды --jars для ссылки на файл JAR данного класса.

  • Импорт JAR-файла, к которому относится класс, в JAR-файл Spark Streaming.

Причина ошибки может быть в том, что некоторые JAR-файлы не могут быть загружены во время выполнения задания Spark, в результате чего класс не определяется.

Для решения проблемы сделайте следующее:

  1. Введите команду --jars для загрузки flume-ng-sdk-{version}.jar пакета зависимости.

  2. Измените два параметра настройки в конфигурационном файле spark-default.conf:

    spark.driver.extraClassPath=$PWD/*: {Add the original value}

    spark.executor.extraClassPath =$PWD/\

  3. Запустите задание. Если сообщение об ошибке появится снова, проверьте, какой из JAR-файлов не загружен, и повторите шаги 1 и 2.

Масштабная конференция
GoCloud 2024:
облачные грани будущего