У меня тяжелая стадия в искре с ~ 8k задач, и это показывает хорошее распределение вычислений...
Недавно для своих заданий Spark ETL я начал использовать CBO и адаптивное выполнение запросов.Тем...
Я пытаюсь прочитать сообщение от Кафки.Сообщение в следующем формате (пример):...
Я создал набор данных в Spark, используя Java, прочитав файл CSV.Ниже приведен мой начальный набор...
Я сталкиваюсь с проводной ситуацией.Я пытаюсь читать из оракула и записывать в папку hdfs в...
У меня есть фрейм данных, в котором есть два столбца, был создан импорт файла .txt. пример...
Мне нужно создать схему, используя существующее поле df. Рассмотрим пример этого кадра данных...
У меня есть два источника данных (оба файла csv), один из них является источником входящих данных...
У меня есть данный фрейм данных, как показано ниже...
В API Apache Spark я могу использовать функцию startsWith для проверки значения столбца:...
У меня есть 2 исполнителя, и они используют 4 ядра каждое с 3 ГБ памяти. Я получаю ответ за 1,9...
Следующий синтаксис: def func0(x: Int => Int, y: Int)(in: DataFrame): DataFrame = { in
Я разработал искровое приложение, которое выполняет следующие шаги: Считывает данные в определенном...
Я использую Spark в Google Cloud для обработки данных из Google Analytics, но я не знаю, как...
У меня есть следующая программа spark, которую я пытаюсь запустить, целью которой является...
Кажется, есть несколько сообщений по этому вопросу, но ни одна из них не отвечает тому, что я...
У меня есть запрос, который объединяет 4 таблицы, и я использовал запрос pushdown, чтобы прочитать...
У меня есть фреймы данных с такими данными, как: channel eventId1 eventId2 eventTs eventTs2...
У меня есть несколько имен столбцов в смешанных случаях в моем Dataframe, как sum(TXN_VOL) Я хочу...
Я использую искру 2.3.2.Для моего случая использования я кэширую первый и второй фреймы данных....
Scala Noob здесь.Все еще пытаюсь изучить синтаксис. Я пытаюсь сократить код, который мне нужно...
Кажется, что происходит изменение поведения между 1.6 и 2.3 при кэшировании Dataframe и сохранении...
Я пытаюсь загрузить файл CSV во фрейм данных, и моя цель состоит в том, чтобы отобразить первую...
var clearedLine = "" var dict = collection.mutable.Map[String, String]() val rdd =...
у меня есть эта схема данных: df: root |-- id: long (nullable = true) |-- a: array (nullable =...