У меня есть агрегат искры, который я хотел бы вывести результат в CSV, но я обнаружил, что искра...

это мой первый пост, поэтому будьте добры ко мне и моему плохому английскому. Мне интересно...

Я без проблем преобразовал файл паркета в pandas, но имел проблему с преобразованием паркета в...

У меня есть особый столбец, в котором есть HTML-теги. Я хотел бы удалить все теги. Пример одной...

Это мой первый раз, когда я использую Spark / Scala, и я заблудился. Я предполагаю написать...

Я пришел из мира реляционных баз данных, поэтому меня немного смущает, что кажется, что Spark SQL...

У меня есть искровой RDD (полный код ниже), и я немного запутался. Учитывая входные данные: 385 | 1...

Я попытался скопировать данные в коллекцию cosmosDB с фрейма данных в искре. Данные записываются в...

Я пытаюсь установить Spark на Hadoop-Yarn, и я получаю сообщение об ошибке, которое, по моему...

У меня есть проблема, когда YARN очень медленно выделяет ресурсы для спарка, иногда уже поздно...

Я пытаюсь понять искровой код, и теперь я ищу SparkSession Насколько я понимаю, метод getOrCreate в...

У меня есть фрейм данных, как показано ниже, и я хочу преобразовать в ожидаемый формат в виде...

У меня есть 2 машины, с одним и тем же процессором, 4 узлами numa и 24 * 4 = 96 ядер. Я использую...

Что означает build right нижеприведенного текста плана запроса? BroadcastHashJoin [i_item_sk#2],...

У меня есть такой фрейм данных: df.show () +-----+ |col1 | +-----+ |[a,b]| |[c,d]| +-----+ Как...

У меня есть датафрейм. Мне нужно вызывать Rest API для каждой записи. Допустим, что Dataframe...

У меня есть текстовый документ. Мне нужно найти возможное количество повторяющихся пар слов в общем...

У меня есть файл паркета, который содержит идентификатор, элементы исходные данные . Я хочу вычесть...

Я новичок в потоковом воспроизведении и просто знаю функцию updateStatebyKey(). Я хочу спросить,...

Я читаю JSON-файл и создаю представление в искре с Java, когда я пытаюсь отобразить, что он...

Я застрял в одной проблеме и сейчас пытаюсь найти решение. Эта проблема связана с сохранением...

Я получил настроенные спарк-банки jar sql, и я хотел бы обновить его на существующих кластерах EMR....

Я пытаюсь проверить работу ручной фиксации смещения. Когда я пытаюсь выйти из задания либо с...

В scala / spark я пытаюсь сделать что-то вроде: df.withColumn("average_value",...

Мне нужно прочитать весь каталог файлов xlsx, и мне нужно загрузить все каталоги с помощью apache...