Я пытаюсь передать и преобразовать несколько фреймов данных из Scala в Pyspark. когда я пробую его...

Предположим, у меня есть кадр данных, такой как: import org.apache.spark.sql.{Row, DataFrame,...

В SQL есть: REFRESH TABLE table_name и в pyspark эквивалент: spark.refreshTable(table_name) Итак,...

У меня есть кластер ES, из которого я хотел бы извлечь все идентификаторы сеанса (настраиваемое...

У меня есть потоковое приложение, которое обрабатывает потоковый DataFrame со столбцом «body»,...

Я использую spark 2.4 и scala 2.11.12, в оболочке spark я столкнулся с очень странной проблемой,...

Учитывая, что 3 машины (с различными аппаратными характеристиками) доступны для использования в...

У меня есть схема, где каждая строка содержит несколько столбцов массивов, и я хочу разбить каждый...

Я только начал работу над квалификацией платформы больших данных, и я хотел бы получить предложения...

мы установили наш кластер через cdh6.2.используйте pyspark, создайте фрейм данных, затем сохраните...

У меня есть файл с 20+ столбцами, из которых я хотел бы извлечь несколько.До сих пор у меня есть...

Я всегда получаю ошибки при попытке преобразовать мои данные CSV в паркет. Я предполагаю, потому...

Я пытаюсь импортировать данные в Hbase, используя следующую команду hbase org.apache.hadoop.hbase

Я создал несколько строк кода scala для подсчета количества слов в текстовом файле (в Spark)....

Мне нужно извлечь метку времени из столбца значений Я попытался сделать getItem, но ничего не...

Я хочу использовать ((String, String), BigDecimal) RDD в качестве PairRDD, чтобы я мог использовать...

Я пытаюсь записать DataFrame в S3 с некоторыми конкретными значениями параметров для форматирования...

Мне интересно, есть ли способ объединить конечный результат в один файл при использовании Spark?...

Я изучаю, как работает Spark внутри Databricks. Я понимаю, как тасование вызывает этапы в работе,...

Я пытаюсь прочитать дамп MongoDB в фрейм данных.Дамп в формате JSON, за исключением элемента Date

Я импортировал данные с помощью sqoop в файл последовательности, и я загружаю эти данные с помощью...

Я обрабатываю свои данные с помощью Scala Spark и хочу использовать pySpark / python для дальнейшей...

У меня есть этот rdd, содержащий кортежи, и сбор их даст мне список. [x1, x2, x3, x4, x5] Но я хочу...

Я хочу использовать Spark Session в методе python, но получаю ошибку: «SparkContext можно...

Я пытаюсь определить способ фильтрации элементов из WrappedArrays в DF. Фильтр основан на внешнем...