x = sqlContext.sql("select * from db.table LIMIT 1000000") x = x

Я пытаюсь прочитать информацию о файлах и каталогах S3 в Python.Я могу найти файлы, используя...

Я пытаюсь отправить приложение Spark в кластер Kubernetes, файл задания находится по адресу: / opt...

Я пытаюсь подключиться к базе данных Hive с проверкой подлинности Kerberos с помощью Pyspark в...

У меня есть набор из 1500 .H5 файлов, которые я должен обработать и преобразовать в паркет.До сих...

Я хочу создать Dataframe в PySpark со следующим кодом from pyspark.sql import * from pyspark.sql

У меня есть работа Spark, которая записывает, что потенциально может быть очень большим набором...

У меня долговременная работа, и если будут выполнены определенные условия, я бы хотел ее убить. Это...

Я пробовал агрегатную функцию, которая преподавалась в видео лекции. Я столкнулся с ошибкой при ее...

У меня есть json, который выглядит следующим образом: { "cols": [ "id",...

Я пишу на путь webhdfs, защищенный Kerberos от Spark.И часть этого на самом деле работает, но он...

Очень новые технологии в науке о данных.В настоящее время работаем над чтением файла SAS (

Я не могу реализовать kmeans для столбца "score" моего набора данных, загруженного из...

Я получаю предупреждение об утечке памяти, которое в идеале было ошибкой Spark до версии 1.6 и было...

Мы пытаемся выполнить передачу данных между двумя кластерами, для которых включена межрегиональная...

У меня есть искровой фрейм данных, в котором есть столбец с именем features, в котором хранятся...

Я следую этому руководству по установке, но у меня возникла следующая проблема с использованием...

Я работаю над проектом, который требует зависимости geotools . Прежде чем я получил следующую...