Я пытаюсь преобразовать разговор в датафрейм в Spark через Scala. Человек и его сообщение разделены...

Я пытаюсь объединить зажигание с кассандрой.Я настроил конфигурацию и запустил узел зажигания.Но я...

Я пытаюсь запустить пример из книги Освоение Apache Spark 2.x. scala> val df = sc

Я пытаюсь добавить jar Postgresql в оболочку spark, используя "scala>: require ", но он показывает...

Я пытаюсь запустить простую команду spark.sql('SELECT * FROM df).show() Я получаю эту ошибку...

Смущен, почему кэшированные DF (в частности, 1-й) показывают разные Storage Levels здесь в...

Я хотел бы сделать потоковую передачу Spark с Kafka на HDFS, как я могу сохранить rdds, сохраненные...

Есть ли способ извлечь / запросить данные широты, долготы и высоты из файла TIF с помощью...

В spark dataframe, почему нам нужно сначала преобразовать dataframe в rdd, чтобы вычислить...

У меня есть фрейм данных в форме: Abc | apple Abc | mango xyz | grapes xyz | peach Я хочу...

У меня есть файл JSON, который, к сожалению, содержит нежелательный текст перед каждой строкой:...

Я новичок в Scala и мне трудно работать с простым набором данных в Spark.Я хочу иметь возможность...

Я разместил это как комментарий в этом полу-связанном вопросе , но я чувствовал, что ему нужна...

У меня есть этот кортеж val tuple_test = ("NCA-15","select count(*) from...

Spark версия - 2.4.0 Версия Scala - 2.11.1 версия json4s - 3.5.3 Ошибка получения - Caused by: java

Я выполняю задания на спарк в режиме клиента пряжи. Я выполняю эти задания с помощью команды...

Я сохраняю фрейм данных в файл CSV в PySpark, используя следующую инструкцию: df_all.repartition(1)

Я работаю над конвейером, который будет работать ежедневно.Он включает в себя объединение двух...

Пожалуйста, обратитесь к коду ниже. from pyspark.sql import SparkSession from pyspark import...

Я начинаю изучать искры со scala .pardon для моего разбитого английского ... Мне нужно написать...

Мы хотим разработать приложение, которое поможет в прогнозировании машинного обучения с...

Использование sparklyr Я получаю доступ к таблице из Oracle через JDBC следующим образом:...

spark-submit --class spark_deploy1.spark_deploy1 --master local[*]...

Мне нужно прочитать таблицу в базе данных Oracle через панд. При использовании метода topandas() я...

Я запускаю искровое задание в кластерном режиме. Итак, мой драйвер скачивает файлы, добавляет их...