Учитывая фрейм данных (df) со следующими столбцами: id, created_date, name Мне нужно убедиться, что...

У меня есть два Spark DataFrames с соответствующими парами разделов. Я хотел бы отправить каждую...

У меня есть проверка имени таблицы в улье, которую выбирает pyspark. Тестовая таблица...

Потоковая передача данных в формате JSON от Kafka-производителя консоли PySpark - содержит...

Я пытался запустить этот код, ожидая, что он создаст таблицу из файла sql, который содержит схему...

Я пытаюсь определить столбцы, которые являются нулевыми и которые не являются нулевыми, и в...

Мой искровой фрейм данных был преобразован в таблицу в Mariadb с использованием следующего кода...

df = df.withColumnRenamed('mail', 'EmailAddress') изменяет нулевой тип i,...

Я человек SQL и новичок в Spark SQL Мне нужно найти позицию индекса символа '-' в строке, если есть...

Я новичок в Python и Pyspark.Я хотел бы знать, как я могу написать ниже функцию искры dataframe в...

У меня есть датафрейм в Pyspark (2.3), из которого мне нужно сгенерировать секционированный...

Мне интересно, как работает предложение HAVING в spark sql без GroupBY или какой-либо агрегатной...

Я хочу разобрать данные паркета с помощью sparkSQL. Я хочу изучить такие данные, как (ключ =...

У меня есть набор данных, который выглядит следующим образом:...

Я пытаюсь прочитать данные из таблиц Hive с помощью PySpark.Я могу получить детали схемы, но при...

Скажите, что у меня есть файл почтового ящика Unix (* .mbox), такой большой, что я не могу...

Я новый пользователь Pyspark.У меня есть опыт работы с реляционными базами данных (sql).Я хотел...

Есть ли способ, кроме перераспределения (который замедляет обработку), объединить все файлы...

У меня есть некоторый фрейм данных df в pySpark, который получается в результате вызова: df = spark

Привет У меня есть запрос, в котором я хочу поместить переменные данные в группу по запросу i...

import os import sys spark_path = 'C:/opt/spark/spark-2.4.1-bin-hadoop2.7' os

Мой фрейм данных выглядит как - no city amount 1 Kenora 56% 2 Sudbury 23% 3 Kenora 71% 4 Sudbury...

Скажем, у меня есть фрейм данных с именем эпохи столбцов, которое составляет секунды от времени...

Так что в основном мне нужно выполнить два следующих запроса, используя Spark SQL, но я не могу...

Я хочу повторно набрать набранный набор студентов, чтобы гарантировать, что я взял N студентов из...