Я работаю над небольшим проектом с использованием Spring Boot, Kafka и Spark.До сих пор мне...

У меня есть пакетное приложение Spark, работающее в кластере YARN (в AWS EMR).Когда я читаю ввод в...

Я работаю над Spark Mllib в Scala впервые, и у меня возникают проблемы с созданием экземпляра...

У меня есть сценарий, в котором я хочу повторно обработать определенный пакет данных, поступающих...

Я пытаюсь идентифицировать партию в пользовательских приемниках.У каждого получателя должен быть...

Я запускаю параллельные задания Spark в одном приложении Spark, и примерно в 2% случаев я получаю...

val apple1 = spark.sql ("выберите количество (отличное *) от apple1, где data1_ts = 201804"). Show...

Я пытаюсь применить сводку к моему фрейму данных, как показано ниже val pivot_company_model_vals_df...

Я пытаюсь прочитать поток orc в java: Набор данных d2 = sparkSession.readStream (). Format ("orc")

Я использовал функцию kdtree для построения kdtree из последовательности значений Double.Мой вывод...

У меня довольно простая программа Scala для получения хеш-значения строк, извлеченных из базы...

У меня есть текстовый файл фиксированной ширины (образец) с данными 2107abc2018abn2019gfh , где все...

Мы получаем много ручных файлов, которые нам нужны для проверки нескольких типов данных перед...

У меня есть следующий входной массив val bins = (("bin1",1.0,2.0),("bin2",3.0,4

Я пытаюсь прочитать данные от потребителя kafka, используя spark2-shell. Пожалуйста, найдите мой...

У меня есть кластер Spark с 3 рабочими узлами.В качестве примера возьмем упрощенное число слов: val...

В моем приложении Spark Structured Streaming я делаю unionByName для трех наборов данных: val...

При сбое задачи, выполняемой на узле, Spark автоматически возвращает задачу другому узлу.Мои...

In Spark Row trait /** Returns true if there are any NULL values in this row. */ def anyNull:...

//Streaming read from Kafka val df = spark.readStream .format("kafka") .option("kafka

Я очень новичок в Databricks and Spark, поэтому я надеюсь, что мой вопрос ясен.Если нет, пожалуйста...

У меня есть набор тестов, который выполняет несколько тестов искровых модулей.Каждый из этих тестов...

Я пытаюсь запустить ячейку pyspark в zeppelin, но получаю исключение NoSuchMethodException для...

Я недавно обновился до Spark 2.3.0.У меня была существующая работа на спарк, которая раньше...

В следующем sql необходим синтаксис для доступа к вложенному struct. В частности, в третьей строке...