У меня есть датафрейм (df), который выглядит следующим образом col1 col2 col3 a 20 0 a 21 1 a 22 0...
Можно ли использовать Spark API для чтения большого CSV-файла, содержащего несколько разделов с...
В нашем кластере Hadoop есть продолжительное приложение для потоковой передачи искр.Проблема в том,...
У меня есть общий вопрос о Кассандре, прочитанной через искру.Я знаю, что разъем свечи-кассандры...
Моя основная цель - получить appId после отправки задачи кластера пряжи через код Java, что удобно...
У меня есть следующий код.df3 создается с использованием следующего кода. Я хочу получить...
У меня есть 2 идентичных сеанса spark 2.3.1, чтобы использовать spark sql для одновременной...
При использовании Dataset.groupByKey(_.key).mapGroups или Dataset.groupByKey(_.key).cogroup в Spark...
плохо знаком, и я учусь, как я иду.У меня очень большой текстовый файл со столбцами, разделенными...
Я просматриваю их начальную страницу: https://spark.apache.org/docs/latest/quick-start.html И от...
У меня есть продолжительное приложение для потоковой передачи искры (режим клиента пряжи, EMR),...
Я в основном заменяю другого программиста. Описание проблемы : существует 11 таблиц кустов, каждая...
Итак, команда для добавления фрейма данных spark непосредственно в таблицу кустов: df.write()
Я могу прочитать поток из темы Кафки и записать (преобразованные) данные обратно в другую тему...
У меня есть Spark DataFrame в PySpark, из которого я пытаюсь удалить нули. Раньше при очистке во...
Это, вероятно, глупый вопрос, но я хотел быть уверен, можно ли транслировать функцию в Spark, а не...
У меня есть скрипт оболочки, который запускает приложение spark с использованием spark-submit....
Я установил kafka и zookeeper в системе Windows.я запустил серверы kafka и zookeeper, создал тему...
Примечание - я сослался на ответ , но, хотя данные не вложены, но я не смог преобразовать данные в...
Я хочу найти оценку сходства между новостной статьей и твитом.Я хочу увидеть показатель...
Исходные данные - это просто необработанный веб-журнал, агрегированный с использованием Flume и...
У меня есть следующий СДР: Col1 Col2 "abc" "123a" "def"...
У меня есть столбец данных, называемый значением 'description', в следующем формате ABC...
У меня есть три этапа в моем коде.В первом я читаю данные и уменьшаю их, во втором я делаю...
Я пытаюсь добавить эту зависимость в интерпретатор spark 2 в zeppelin https://mvnrepository