Получение ошибки при запуске задания искры из куста CLI jdbc: hive2: //hdpworker.kyvostest.com:...

Я пытаюсь создать фрейм данных из 10 тыс. Записей, чтобы затем сохранить его в файл паркета на...

Я использую Livy rest api для отправки искровых заданий с использованием s3a вместо HDFS.Я пишу АК...

Эксперименты с Databricks Spark cluster.При создании таблицы в базе данных Hive в первый раз я...

Я бы хотел найти минимум года и месяца и максимум года и месяца из фрейма искры.Ниже мой фрейм...

Я пытаюсь настроить наше приложение Spotfire Analyst для использования информационных ссылок,...

У меня есть CSV-файл: Name;Date A;2018-01-01 10:15:25.123456 B;2018-12-31 10:15:25.123456 Я пытаюсь...

У меня есть следующий код: def main(args: Array[String]) { var dvfFiles : String =...

Я экспортирую данные из таблицы BigQuery, столбец с именем prop12 определен как тип данных NUMERIC

Мы все знаем, что в SQL, как правило, у нас есть определенный порядок лексических операций при...

Краткий вопрос : Для более прямого запроса я хочу последовательно выполнить все строки и назначить...

Я использую IntelliJ ide и язык scala, я хочу получить доступ к текстовому файлу, хранящемуся в AWS...

У меня есть каталог HDFS с 13,2 ГБ и 4 файлами в нем. Я пытаюсь прочитать все файлы, используя...

Эксперты, я использую Spark 1.6.0 с Python (2.7) и сталкиваюсь с проблемой, когда моя работа...

У меня есть данные, записанные из spark, в файлы паркета в gcs, разбитые на столбец даты.Данные в...

Я очень новичок в Apache spark и пытаюсь объединить внутреннюю таблицу Book с таблицей, которая...

Я совершенно новичок в программировании на Spark и Scala.В настоящее время я работаю над Spark...

У меня есть текстовый файл. Теперь я хочу заполнить поле вывода в файле как Exp1 & Exp2. Что я...

Я создал два набора DF, один со списком общих номеров, а другой со списком конкретных номеров. Я...

Я пытаюсь преобразовать строковый столбец во фрейме данных искры во временную отметку.Я попробовал...

Я пытаюсь загрузить удаленную таблицу базы данных Oracle в оболочку Apache Spark. Вот так я...

Я пытаюсь подключиться к своим корзинам s3, используя мой Spark, следующим образом: rdd=sc

Я работаю над проблемой, когда хочу отобразить ближайшую дату / время из текущей даты в Scala. У...

Я хотел бы подключить экземпляр R к Spark, работающему в HDP-песочнице, развернутой в Docker на...

У меня есть много индексов Elasticsearch со многими полями, которые я хочу использовать в Spark....