> Py4JJavaError: An error occurred while calling o342.collectToPython. : > org.apache.spark

У меня есть фрейм данных (df), который состоит из 10K строк. Мой фрейм данных выглядит как - id...

Объяснить мой вопрос иначе: Этот вопрос отличается от отмеченного. Во-первых, входной параметр уже...

Я хочу прочитать буквенно-цифровое поле файла json без кавычек: Я пытался преобразовать это поле в...

Я хотел бы эффективно вставить содержимое фрейма pyspark в Redis. Попытка нескольких методов, но ни...

Я новичок в pyspark.Я пытаюсь извлечь столбцы данных, используя конфигурационный файл, который...

Я хочу перебрать искровой фрейм данных, проверить, является ли условие, т. Е. Агрегированное...

Впервые в Spark и PySpark я пытаюсь добавить поле / столбец в DataFrame путем поиска информации в...

Использование EMR с 4 рабочими и 1 мастером метка выпуска: emr-5.24.0 Распределение Hadoop: Amazon...

Эксперты, я использую Spark 1.6.0 с Python (2.7) и сталкиваюсь с проблемой, когда моя работа...

Я подозреваю, что это довольно простой ответ, но я проклят, если смогу разобраться. Из документов...

У меня есть два искровых кадра данных, к которым я пытаюсь присоединиться. Я пытаюсь соединить два...

Я делаю классификацию текста и использую pyspark.ml.feature.Tokenizer для токенизации текста....

У нас есть база данных временных рядов для пользовательских событий, которая выглядит следующим...

Допустим, у меня есть следующие данные в кадре данных receipts: Id | Фрукты 1 | ['яблоко', 'банан']...

Я пытаюсь записать фрейм данных в cassandra, используя pyspark, но я получаю сообщение об ошибке:...

Я запускаю следующий код в сеансе оболочки pyspark. Запуск collect_list () после groupBy изменяет...

Я запрашиваю таблицу mysql со столбцом первичного ключа, используя spark. Мне не нужно читать всю...

У меня есть один файл json со 100 столбцами, и я хочу прочитать все столбцы вместе с...

У меня есть 2 схемы JSON, как показано ниже - df1.printSchema () # root # |-- name: string...

У меня есть датафрейм df в настройке PySpark.Я хочу изменить столбец, скажем, он называется A, тип...

У меня есть датафрейм df = spark.createDataFrame([(1,2,3...

У меня есть фрейм данных с двумя столбцами, содержащими данные json. Я хочу проанализировать эти...

У меня есть данные, сохраненные в формате паркета в формате hdf, которые я хочу обработать с...

Я прочитал документацию как pandas.read_csv, так и pyspark.sql.DataFrameReader.csv, и кажется, что...