Spark

Какие конфигурации доступны для работы со Spark?
Как запустить обработку данных на Spark?
Как устроена тарификация Spark?
Как можно отследить использование ресурсов при запущенном окружении со Spark?
Что делать, если в spark-задаче возникает ошибка «response: Internal Server Error spark-job-job_id»?
Можно ли использовать компонент Spark Web UI для мониторинга нагрузки на Jupyter Server с доступом к Spark?

Какие конфигурации доступны для работы со Spark?

Список доступных конфигураций можно посмотреть при создании окружения с типом «Spark» в выпадающих списках «Ресурсы Driver» и «Ресурсы Executor».

Как запустить обработку данных на Spark?

Перейдите в Environments → Jupyter Servers.
Нажмите Создать Jupyter Server и создайте Jupyter Server по инструкции, указав тип Препроцессинг и Big Data.

Как устроена тарификация Spark?

Подробнее про тарификацию в разделе Примеры расчета стоимости Еnvironments.

Как можно отследить использование ресурсов при запущенном окружении со Spark?

Подробно про мониторинг.

Что делать, если в spark-задаче возникает ошибка «response: Internal Server Error spark-job-job_id»?

Ошибка может быть вызвана повышенной нагрузкой на сервис. Рекомендуем настроить в вашей последовательности запросов автоматический retry на три—пять попыток с интервалом 4, 8, 16, 32 и так далее секунд.

Можно ли использовать компонент Spark Web UI для мониторинга нагрузки на Jupyter Server с доступом к Spark?

Компонент Spark Web UI недоступен при работе в Jupyter Server с доступом к Spark.