Данные взяты из таблицы Hive, точнее, Первая таблица имеет свойства Serde Library org.apache.hadoop

Я выбираю данные из моей таблицы / представления улья, но кодировка символов не определяется...

Мой проект переключается с scala / spark на drools для проверки правил, но я никогда раньше не...

Я выполняю свои задания на Spark 2.2 в кластере с Mesos через spark-submit. Я заявляю: (в...

Мне нужно прочитать файлы ASCII, как показано ниже. Каждый элемент в строке разделен каким-либо...

например у меня есть этот тип DataFrame: val DF = Seq((10, "id1",1), (20, "id1"...

В моем приложении spark у меня есть файл свойств, который мне нужен для инициализации таких вещей,...

Хотите функции row предполагается как вложенная структура. Ключи выходной карты должны быть полными...

Я получаю исключение AbstractMethodError при создании JavaStreamingContext. Моя зависимость от pom,...

Я пробую простой пример публикации данных в Kafka и использования их с помощью Spark. Вот код...

Ниже приведен простой синтаксис для поиска строки в определенном столбце с использованием...

когда я пытаюсь записать в CSV некоторые потоковые данные с искровой структурой, я вижу, что пустые...

У меня есть таблица в Databricks, в которой есть столбец (называемый «свойствами»), который...

При использовании Scala и Spark 1.6.3 мое сообщение об ошибке: org.apache.spark.sql

Я хочу сгладить набор данных hbase. Человек имеет 2 типа данных в другой таблице, почте и телефоне....

Я новичок в pyspark, поэтому буду благодарен, если кто-нибудь сможет помочь решить проблему....

В моем искровом кластере EMR на основных компьютерах размер тома EBS составляет 128 ГБ. Моя...

Я запускаю приложение через spark-submit в кластере EMR, состоящем из главного узла и 4 рабочих...

Я могу flatMap 2-й элемент СДР, хорошо. val rdd = sc.parallelize( Seq( (1, "Hello how are...

У меня периодически возникает зависание, и мой кластер AWS EMR находится в состоянии, когда...

Мне нужно определить типы столбцов в пределах spark.createDataFrame(). Например, мне нужно...

Я экспериментирую с режимом непрерывной обработки Spark в структурированном потоке и читаю тему...

Я пытаюсь использовать поток кинезиса и выполнять преобразования на нем с помощью потоковой искры,...

С dStreams, из официальной документации: Очередь СДР в виде потока: для тестирования приложения...

Spark версия-2.3.2 EMR - 5,19,0 8 исполнителей Каждый исполнитель - 5 основных Что я пытаюсь...