Я использую Spark 2.3.0 с pyspark для подписки на поток Kafka и в настоящее время пытаюсь...

Моя работа искры не выполняется из-за java.lang.OutOfMemoryError: пространство кучи Java. Я...

Я пытаюсь создать дополнительный столбец в кадре данных с автоматически увеличивающимися значениями...

1) Мне нужно использовать date_diff() в моем коде, чтобы найти разницу между столбцом Date и...

У меня есть фрейм данных pyspark, в котором есть столбец данных, а также даты выходных. Я просто...

Я пытаюсь найти определенную строку из очень большого файла журнала. Я могу искать строку. Теперь,...

Я тестирую свой первый Spark Streaming трубопровод, который обрабатывает сообщения от Kafka. Однако...

Я хочу, чтобы двое объединились в два набора данных DS1 и DS2, чтобы получить DS3 DS1:...

Мы пытаемся интегрировать загрузку Spark и Spring, к сожалению, каждый раз сталкиваемся с...

У меня есть датафрейм со схемой: root |-- col2: integer (nullable = true) |-- col1: integer...

Я пытаюсь заменить строку в столбце данных, используя regexp_replace. Я должен применить шаблоны...

Я новичок в Искре. Я установил PySpark 2.3.0 на Windows. Я работаю над набором данных, который...

Я читал книгу "Learning Spark" и, например, 5-14, я заметил, что объявлено...

Я использую Solr с Spark в Java для индексирования документов. Я настроил Zookeeper на порт 2181, и...

У меня есть одна проблема с искрой, когда я попытался сгенерировать модель, я получил одно...

Почему я не могу получить полные данные Hbase в моем терминале host = 'localhost' table =...

Я пробовал random_forest_classifier_example.py , и это работает. Для следующего шага я попробовал...

Когда я пытаюсь объединить 3 столбца ArrayType в Spark DataFrame, я получаю ошибочные выходные...

У меня проблема при чтении файла изображения из HDFS и использовании класса ImageSchema...

Мой пример использования - когда искровой UDF принимает строку в качестве входа и возвращает ту же...

Использование Spark 2.2 + Java 1.8 У меня есть два пользовательских типа данных "Foo" и "Bar"....

Я пытаюсь запустить искровой sql-тест для таблицы улья, используя Spark Java API. У меня проблема с...

Я пытаюсь прочитать большой файл CSV из S3. Мой размер файла составляет 100 МБ в формате GZip,...

Кажется, что у искры есть проблемы с травлением / расслоением на удаленных рабочих. Есть ли способ...

Я пытаюсь запустить экспоненциально взвешенное скользящее среднее в PySpark с использованием UDF...