Я пытаюсь получить сообщения Кафки и обрабатывать их с помощью Spark в автономном режиме. Кафка...

Есть ли способ отключить вкладку «Среда» из Spark UI.Я отключил опцию «kill» из интерфейса spark,...

Мой вариант использования 1. Считайте данные из Kafka, проанализируйте их и запишите в HDFS как...

Я работаю с базой данных kafka в формате avro, которую я хочу передать для анализа данных с...

Как мне указать, что я хочу, чтобы jvm использовал MarkSweep gc при запуске задания spark-submit на...

Я хочу контролировать размещение разделов графа свойств в GraphX.Как я понимаю, чтобы указать...

Я работаю с Spark GraphX. Я строю график из файла (около 620 МБ, 50К вершин и почти 50 миллионов...

У меня есть таблица MSSQL в качестве источника данных, и я хотел бы сохранить какое-то смещение...

У меня есть поток DataFrame в Databricks, и я хочу выполнить действие для каждого элемента. В сети...

Я проводил некоторый анализ в базе данных Lumen и недавно переключился на работу, так как размер...

Я пытаюсь создать массив структур с результатом записей Spark SQL.Есть ли способ вставить записи в...

У меня есть фрейм данных, в котором я должен создать уникальный идентификатор в одном из столбцов

Написал код, который направляет количество слов (kafka), когда файл дается (в продюсере) код: from...

Я пытаюсь выполнить сложный искровой запрос и получаю NegativeArraySizeException Запущенный мной...

Я пытаюсь вычислить общее время, которое корабль проводит на якоре. Данные, с которыми я имею дело,...

Мне нужно отобразить 5 лучших штатов и городов на основе общего количества отзывов (количество...

Я пытаюсь создать Kafka Data Ingestion в HBase через PySpark. В данный момент я пытаюсь вставить...

Привет, все. Я пытаюсь сгенерировать случайное число для пары полей. Один - буквенно-цифровой, а...

Я получаю ошибку ниже при вставке данных в таблицу формата паркета с именем столбца, имеющим пробел

Я хочу преобразовать org.apache.spark.sql.DataFrame в org.apache.spark.rdd.RDD[(String, String)] в...

Я пытаюсь построить коленчатый график, используя SparkML Kmeans Я пытаюсь установить начальное...

Фон - Данные временных рядов поступают в Apache Kafka, который я храню в Cassandra. Поскольку...

Допустим, у меня есть нестандартные даты в моем фрейме данных: val df = Seq("24-12-2017"...

У меня есть Dataset<Row> inputDS, который имеет 4 столбца, а именно Id, List<long> time...

Я начал изучать искру 2 дня назад. Так что я новичок в этом. Мой пример использования - доступ к...