Я новичок в разработке scala / Spark.Я создал простое потоковое приложение из темы Kafka, используя...

Использование кучи hiveserver2 постоянно увеличивается (первая картинка).Существуют такие...

Мне нужно найти среднее расстояние пути, и Spark Scala отнимает целую вечность (оказывается, я даже...

Я могу запустить приложение Spark, которое я написал в Scala локально: sbt run ... , и оно работает...

При запуске Spark на JupyterHub на EMR я хотел бы добавить несколько разъемов Jar.Я использую Scala...

Я настроил кластер из 11 узлов для работы без пароля, установил переменные JAVA_HOME, SPARK_HOME и...

Вход: У меня есть следующий поток в NetCat: $ nc -l -p 5555 example1 example2 example3 example4...

Впервые в spark и java, поэтому, вероятно, будет выглядеть как наивный вопрос. Я пытаюсь запустить...

у нас есть 3-х узловый кластер Mesos.Основной сервис был запущен на компьютере 1 с помощью...

У меня есть spark_tbl, содержащий 160+ столбцов. Я приведу пример, чтобы показать, как выглядит...

При использовании Spark Cassandra Connector все потоковые данные всегда вставляются в базу данных...

В настоящее время я пытаюсь проанализировать большой текстовый файл, содержащий один столбец с...

При использовании SparkSQL версии 2.1.1 при сбой приведение к целевому значению устанавливается в...

Мой senario выглядит следующим образом: Kafka ----> spark stream (server1) -----> spark stream...

Я пытаюсь найти решение для чтения данных из таблицы HBASE с использованием потоковой передачи с...

Есть ли параметр конфигурации spark, который мы можем передать при отправке заданий через...

Я использую Spark 2.1.1.У меня очень сложный запрос, написанный на Spark SQL, который я пытаюсь...

Я пытаюсь смоделировать некоторые данные с помощью логистической регрессии, части искры MLlib.Для...

Я работаю над XML, который имеет структуру, подобную приведенной ниже. Я пытаюсь получить доступ к...

Я загружаю данные во фреймы данных, где один из столбцов равен zipCode (String type). Интересно,...

У меня есть простой запрос, который выполняется по большому набору данных.Чтобы избежать...

Я создал набор Spark RDD, которые предлагают деловые регистрации по SIREN, SIRET (два французских...

Так что у меня ежедневная работа, которая будет разбирать CSV на паркет.Что лучше всего делать:...

Я пытаюсь написать искровой тестовый модуль, используя такие директивы, как withTable, withSQLConf...

Я использую com.databricks.spark.avro.Когда я запускаю его из spark-shell следующим образом:...