У меня есть паркетный файл в HDFS, размером около 1 ТБ. В настоящее время данные разбиты методом по...

У меня есть таблица в Hive, например: hive> create table if not exists stock_quote (TradeDay...

Я пытаюсь сохранить несколько графиков в каталоге. Когда я запускаю приведенный ниже фрагмент кода,...

Мой сценарий искровой работы заключается в подключении к базе данных PostgreSQL, чтении данных из...

У меня следующий код: - val result = session.execute("Select * from table where imei=...

У меня есть DataFrame, который выглядит следующим образом |Start |End |Description|Value|...

Я использую зависимость: version := "0.1" scalaVersion := "2.2.0"...

Я новичок в работе со scala, и при попытке запустить этот простой код, который пытается прочитать...

Я пишу простую программу spark-cassandra в java с dasastax cassandra, но получаю ниже исключения...

У меня есть два RDD - один из файловой системы hdfs, а другой создан из строки, как показано ниже -...

Я новичок в Искре. Я хочу использовать мультиклассовую классификацию для SVM в PySpark MLlib. Я...

Когда я делаю df.show() для печати содержимого строк DataFrame, я получаю эту ошибку: Caused by:...

У меня есть информация о пользователях в СДР: (Id:10, Name:bla, Adress:50, ...) И у меня есть еще...

Я пишу операцию reduce, ожидаю фрейм данных вместо словаря. Согласно следующему коду, он выдаст...

У меня есть фрейм данных (DF1) с двумя столбцами +-------+------+ |words |value | +-------+------+...

На самом деле я использую искру и кассандру для выполнения некоторых заданий. Я хотел бы...

У меня есть RDD (называемый «данными»), где каждая строка представляет собой пару id / vector,...

Я использую PySpark Pipeline для создания некоторых функций. pipeline=Pipeline(stages=[token_q1...

У меня есть задание Spark, которое выполняется на EMR и считывает набор данных из S3 (вложенный...

У меня есть программа, пытающаяся подключиться к базе данных Neo4j и запустить на Spark, testApp

Я выполнил подсчет попыток (пользователь, приложение) за временной промежуток дня (86400). Я хочу...

У меня есть следующий код, который в основном выполняет конвейер разработки функций:...

Мы должны написать запрос SparkSQL, чтобы получить только предыдущую и следующую строку...

Предположим, у меня есть СДР, ключи которого имеют вид [1, 2, 3, 4, 5...], теперь я хочу...

У меня есть фрейм данных Spark, как показано ниже - val myDF = Seq( (1,"A",100,0,0), (1...