я хочу удалить данные из hbase с помощью rdd, вот мои коды def delGraphIdVertexInfo(vertexInfoRDD:...
У меня есть задание Spark в структурированном потоке, которое использует данные из Kafka и...
Есть тонна вопросов о ClassNotFoundException, но я не видел ни одного (пока), подходящего для этого...
Я могу подключиться к Redshift с помощью psycopg2: import psycopg2 conn = psycopg2
Я разделяю «split_column» на еще пять столбцов в соответствии со следующим кодом. Однако я хотел,...
Разлив на диск по умолчанию включен в spark. Как настроить свойство с помощью Ambari (HortonWorks)?...
Документация Spark о подаче заявок гласит: Подключиться к кластеру YARN в режиме клиента или...
Я написал один UDF для использования в spark с использованием python. Эта функция занимает одна...
Я работаю с фреймом данных df.printSchema() root |-- key_value: struct (nullable = true) | |-- key:...
В Spark, пытающейся выполнить «частичную» оконную функцию. Предоставление схемы eventId,...
Мне нужно рассчитать дополнительные функции из набора данных, используя несколько опережений и...
У меня есть работа с scala spark для записи в s3 в виде файла паркета. Пока это 6 миллиардов...
Я запускаю приведенный ниже код и после чтения нескольких RDD из Kafka я получаю эту ошибку...
Мы настраиваем искровой кластер, используя автономный метод развертывания. Мастер и все работники...
Чтобы перебрать столбцы в Spark Dataframe, созданном из таблицы Hive, и обновить все вхождения...
Фон Я сглаживаю вложенную схему для данного Spark DataSet, сначала создав сопоставление конечных...
Я извлекаю содержимое из таблицы Cassandra, используя функции коннектора Dataframe. После этого я...
У меня есть три узла в кластере, каждый с одним активным ядром. Я имею в виду, у меня есть 3 ядра в...
Как выполнить агрегацию без сохранения состояния в Spark с использованием структурированной...
val conf = new SparkConf(true) .setAppName("Streaming Example")
Я интегрировал Spark Streaming Process с Kafka, чтобы прочитать конкретную тему. Создан Spark...
Например, необработанный кадр данных выглядит следующим образом: +--------+--------+ | col1| col2|...
У меня есть несколько графиков одного типа. Я хочу хранить их в массиве. Но когда я добавляю граф в...
Я читаю данные из файла для создания ребер графа. Я объявил массив и добавил ребра по одному. Этот...
Я использую небольшой кластер Amazon EMR и хочу записать в его базу данных Hive удаленное...