Приложение Spark, работающее в режиме кластера YARN, продолжает получать следующие ошибки более 4...

Я нашел эту конструкцию. purchaseByCustomerPerHour = streamingDataFrame\ .selectExpr(...

Под Apache Spark я понимаю, что он используется для увеличения вычислительной мощности нескольких...

Я хочу использовать kotlin для программирования в Spark 2.0. Я добавил jar-файлы spark и могу...

У меня есть внешняя таблица улья на hbase. Я видел в таблицах улья на паркете, нам нужно обновить...

Мне просто нужно одно значение из базы данных SQL, к которой я обращаюсь.Это возможно?Или он должен...

Я запускаю запланированный процесс, который запрашивает таблицу в Hive с использованием sparkSQL и...

У меня возникли проблемы с заданием Spark, которое примерно в половине случаев выберет обработку...

У нас есть две таблицы, первая из которых содержит код для каждой задачи в каждом запуске.2-я...

Если я пишу программу spark и запускаю ее в автономном режиме, и когда я хочу развернуть ее в...

Не удалось найти исполняемый файл null \ bin \ winutils.exe в двоичных файлах Hadoop. Я добавил...

У меня есть набор данных временных рядов, который разделен по идентификатору и упорядочен по...

Я упаковал свое приложение в jar-файл, однако, когда я пытаюсь его выполнить, приложение...

Я использую временное представление для загрузки данных Oracle в Hive с использованием Spark SQL

Я очень новичок в scala spark экосистеме, и мне интересно, как лучше всего провести модульное...

Случай 1: Когда я пытаюсь получить «b.no» с сообщением об ошибке, ниже сообщается код, а также...

У меня есть задание Spark, для которого запланировано время. Когда я записываю DataFrame результата...

У меня есть поток Spark SQL, например: dataFrame .join(anotherDataFrame, columns)

Когда я использовал redis в процессе потоковой обработки искры, блок if ... else в foreachRDD,...

Мне интересно, почему мое задание Glue выполняется так медленно, даже если у запроса есть...

У меня есть потоковый Dataframe, который я хочу вычислить min и avg по некоторым столбцам. Вместо...

В настоящее время я использую Spark 2.4.0 в режиме Java. У меня в цепочке операций создается Java...

Я использую структурированную потоковую передачу spark2.2.1, через некоторое время программа...

На днях у меня была беседа с коллегой, и он случайно упомянул, что помимо вычислений в памяти...

Я начал видеть следующую ошибку после развертывания некоторых изменений в SQL-запросе Spark в среде...