hive_context.sql("use caz_applied_ana") Вот код, который я использую в ноутбуке Jupyter

Поскольку Hive хранит данные в распределенном виде, какой запрос будет более эффективным из числа...

У меня есть MongoDB и Spark, работающие на Zeppelin, которые используют одну и ту же HDFS.MongoDB...

Я пытаюсь запустить любой код XGBoost с помощью Spark, но безуспешно. Я также пробовал копировать...

Я пишу Spark Scala-приложение с SBT, и когда я просто запускаю его как Scala-приложение, оно...

Кто-нибудь может объяснить, как обрабатываются асимметричные данные для Apache spark? Сценарий: Мы...

Я хочу получить нечто похожее на http://benfradet.github

Я изучаю scala-spark и хочу знать, как мы можем извлечь необходимые столбцы из неупорядоченных...

Контекст: я работаю в одном кластере datastax dse 5.1.8 с версией spark 2.0.2.17 и версией Scala 2

Я хочу проанализировать журнал драйвера моего потокового приложения Spark (запущенного в режиме...

Я хочу заполнить (id, ArrayBuffer[ArrayBuffer[Double]]) из Dstream batch.Мои входные данные имеют...

Я использую spark-2.3.0-bin-hadoop2.7 и sparkling-water-2.3.5 на 64-битной Windows 10. Я предпринял...

Я передаю функцию в Spark. Эта функция решает проблему оптимизации, которая занимает около половины...

Как мы можем написать Hive query в select оператор для логики ниже? Если значение столбца равно...

def(df:DataFrame):DataFrame = { val emptyDf = Seq.empty[(Long,String)].toDF() val p1 =...

Я пытаюсь связать локальные библиотеки BLAS в простом примере, чтобы проверить разницу в...

Я хотел создать вложенный XML из CSV / DataFrame в scala spark.Я использую библиотеку Databricks...

нужно быстрое предложение. У меня есть сжатый файл в формате S3 (размер 3 ГБ), и я пытаюсь...

Я пытался настроить кластер эластичного поиска для обработки некоторых данных журнала с некоторых...

Я создал эту функцию каррирования для проверки на наличие нулевых значений для endDateStr внутри...

Как я могу сделать сравнение дат в искровой UDF, используя java.sql.Date. что-то вроде ниже .. def...

Где я могу найти файл spark-defaults.conf, когда я импортирую искру из sbt с jar-файлами.Я...

У меня есть спарк-кластер, который работает с Mesos в качестве менеджера ресурсов.При сбое...

Я хочу создать проект с аккой и искрой.Я добавил зависимости и некоторые другие зависимости тоже

Согласно этому блогу в кирпичах данных, spark полагается на классы протоколов фиксации из Hadoop,...