Я новичок в Spark и Scala и хотел знать, могу ли я использовать тот же sparkContext, который я...

Я потянул свои волосы, пытаясь оптимизировать скрипт Spark, и он все еще невыносимо медленный (24...

У меня есть набор данных карты aadhaar. Мне нужно найти три верхних штата, где процент карт...

У меня есть коллекция файлов журнала приложений Spark, я хочу, чтобы каждый файл Имя приложения,...

У меня есть следующий СДР, представляющий данные о продажах: val rddSales:RDD[((String, String),...

Я использую автономный Apache Airflow для отправки заданий Spark с помощью SSHExecutorOperator для...

Добрый день, коллеги. У меня большой набор данных (около 237 000 000 строк). Есть много столбцов....

Я реализовал простой метод фильтрации в Java, создав составной ключ String (SaleType + SaleDate)....

Я пытался решить упражнения в https://github

Я пытаюсь составить несколько условных маршрутов. Условие разрешается на стороне сервера. Пример...

У меня есть конвейер Spark с 3 DataFrame.write, и я хочу вывести временную метку для каждой записи....

Я только что начал использовать chisel3 и хочу поменять местами цифры. Это код для испытательного...

Я назначаю две переменные: val a: Seq[Int] = schema.map(_.getLong(key="width").toInt) val...

Требуется объединить данные из 2 потоковых источников, а затем уменьшить их для того же ключа и...

Я выполняю приведенный ниже код для анализа данных с использованием Spark, при выполнении кода я...

Я пытался установить StreamingContext в моей программе, но я не могу понять, что происходит. Я...

DF().write .format("com.databricks.spark.csv") .save("filepath/selectedDataset

Я использую Spark 2.3 и пытаюсь объединить два потока данных. Мой левый и правый потоки имеют...

Поэтому мне нужно создать массив чисел, перечисляющий от 1 до 100 в качестве значения для каждой...

Я читаю файлы JSON из папки HDFS в Spark Scala Код: val path = "hdfs://year/month/date/*"...

Я пытаюсь подключиться к моей локальной базе данных mysql, но я получаю «db - Соединение недоступно...

У меня есть файл CSV, но я должен назначить тип данных, не зная его тип данных и схему Я имею в...

Я пытаюсь разделить фрейм данных в соответствии со значениями одного (или более) столбца и вращать...

Я пытаюсь подключить hbase от spark, и я хочу запустить файл scala jar в spark-submit. Я не уверен,...

Уже прочитали ответ на этот вопрос , который находится на SO. Ни одно из этих исправлений не...