Я выполняю Python в автономном режиме клиента в Spark, но терминал показывает: Exception: Python in...
Мне нужно получить все имена файлов по определенному пути (имя корзины / лендзона / имя таблицы) в...
Я читаю данные таблицы с сервера sql и сохраняю их как Dataframe в спринге. Я хочу записать df в...
У меня огромный текстовый файл (в ГБ) с плановыми текстовыми данными в каждой строке, который...
Использование смещения хранилища KafkaUtils.createDirectStream в HDFS offsetRanges = [] def...
Я работаю над проектом, в котором мне нужно поделиться состоянием выполнения в другом приложении...
Я хочу отправить потоковый файл Nifi в Spark, выполнить некоторые преобразования в Spark и снова...
Скажите, у меня есть два стола, order_table и room_table order_table +----------+---------+ |...
Я должен сгенерировать, где условие основано на классе дела / фрейме данных. Например, у меня будут...
Ниже приведен мой простой код. Когда я запускаю его в режиме Spark Local, он работает отлично. Но...
У меня есть фрейм данных, к которому я присоединился с устаревшими данными и обновленными данными:...
Я недавно изучаю управление Spark Storage, но меня смущает, где хранится датафрейм, когда мы его...
Моя база данных имеет значение numeric, которое составляет до 256-битного целого числа без знака....
У меня есть сценарий использования, где схемой столбца является String, но на самом деле это json...
У меня есть фрейм данных Spark, как показано ниже, и я хочу выполнить на нем несколько агрегатных...
В одном из столбцов моего информационного кадра есть следующая строка:...
После вызова "spark-submit" нормально работает в оболочке /bin/bash -c '/local/spark-2.3
Я использую Spark версии 2.2.0 и scala версии 2.11.8. Я создал и сохранил модель двоичной...
Если я правильно понимаю, ArrayType можно добавить как столбцы Spark DataFrame. Я пытаюсь добавить...
Ниже приведена часть моей искровой работы: def parse(evt: Event): String = { try { val config = new...
Можно ли прочитать удаленный файл CSV в DataFrame с помощью объекта SparkSession? Или рекомендуется...
предположим, у меня есть несколько файлов CSV в одном каталоге, все эти файлы имеют одну и ту же...
У меня проблема с разбиением столбца метки времени на столбцы даты и времени. Сначала время не...
Насколько я понимаю, Spark использует параллельный ввод-вывод для чтения файлов. Этот вывод...
У меня есть данные, как показано ниже, и я хочу уменьшить их, комбинируя соседние строки, т.е....