Следующий фрагмент кода занимает много времени на 4 ГБ необработанных данных в кластере: df

У меня есть большой граф (несколько миллионов вершин и ребер).Я хочу удалить все вершины (и ребра),...

При создании DataFrame из файла CSV, если включена опция multiLine, некоторые столбцы файла...

После прочтения этого ответа я знаю, что количество разделов при чтении данных из Hive будет...

Можно иметь массив разделов Spark DataFrame следующим образом: > df.rdd.partitions Есть ли...

Я работаю над датафреймом в Pyspark. Один столбец состоит из целочисленного значения,...

Я новичок в Spark & ​​Scala и получил исключение после вызова saveAsTextFile ().Надеюсь, что кто-то...

Я пытаюсь понять, как работает разделение в искрах для записей пары NON KEY VALUE.Команды...

Для входа Dataframe намерение состоит в том, чтобы генерировать только половину само декартового...

поэтому у меня есть необходимость транслировать некоторый связанный контент с RDD на все рабочие...

Я должен предварять это тем фактом, что я использую Enhanced VPC Routing для своей учетной записи...

Я немного запутался в том, как настроить конфигурацию Spark для рабочих нагрузок, используя YARN в...

У меня есть записи, подобные приведенным ниже. Разделенные пробелами / разделенные: 2015-07-22 5555...

Я ищу лучший способ читать сообщения (много сообщений, около 100B каждый день) из Кафки, после...

Здравствуйте, как мы можем прочитать эту таблицу улья с переплетом в Spark 2.x.Даже в примере с...

У меня есть следующий код, написанный на Spark с использованием Scala и SQL API: sourceData

скажем, например, это JSON, как показано ниже. Я на самом деле взял это с сайта Amazon, но я думаю,...

Недавно я работал с Spark с источником данных JDBC.Рассмотрим следующий фрагмент: val df = spark

Vertica имеет аналитическую функцию CONDITIONAL_CHANGE_EVENT, которая выполняет что-то вроде...

В Spark, в чем разница между добавлением JAR-файлов в путь к классам через аргумент --packages и...

Предположим, я присоединяюсь к нескольким Spark фреймам данных: abcd = a.join(b, 'bid',...

У меня есть данные JSON, которые содержат несколько вложений, как показано ниже. Глубина вложения...

Контекст Я работаю над sparkR с CSV-файлами.до работы с spark я работал над R с файлами Excel, и я...

У меня ниже XML, который я пытаюсь прочитать через SPARK XML: <revolt>...

У меня есть приложение Spark Structured Streaming, которое получает сообщения Kafka.Для каждого...