Я использую Spark 2.3.0 и у меня есть два фрейма данных. Первый, df1, имеет схему: root |-- time:...

В настоящее время я пытаюсь выяснить, как передать аргумент формата String в функцию pyspark...

это мой простой код. spark.sql("select * from default.some_table") при использовании...

У меня есть набор данных журнала событий, например: | patient | timestamp | event_st | extra_info |...

У меня проблема с широковещательной переменной при интеграции kafka и spark streaming. Если я не...

У меня есть два сервера, и я создал 4 виртуальных машины на каждом сервере. На этих виртуальных...

У меня есть DataFrame, у которого есть столбец id, который используется для соединения с другими...

Моя функция get_data возвращает кортеж: два целых значения. get_data_udf = udf(lambda id:...

У меня следующая ситуация: У меня есть датафрейм с массивом в качестве схемы. Теперь я хочу...

Я пытаюсь прочитать таблицу Oracle, используя spark.read.format, и она прекрасно работает для всех...

Я хочу запустить recoverPartitions для таблиц, которые могут иметь или не иметь разделы. Прямо...

введите описание изображения здесь содержание spark-env.sh введите описание изображения здесь Я не...

Я пытаюсь понять странное поведение, которое я наблюдал в своем потоковом приложении Spark,...

Кто-нибудь знает, что соответствует LocalTableScan в Spark Structured Streaming? Я пытаюсь понять...

Я новичок в Spark и попробовал простую линейную регрессию. Похоже, не удается понять, как исправить...

Взгляните на ML Tuning: перекрестная проверка У меня есть некоторые сомнения по поводу того, как...

Я немного новичок в Spark ML API. Я пытаюсь сделать мульти-ярлычную классификацию для 160 ярлыков,...

У меня есть датафрейм с 3 столбцами - число (целое число), имя (строка), цвет (строка). Ниже...

Я пытаюсь запустить некоторые тесты на моей локальной машине с потоковой структурой с искрой. В...

Итак, у меня есть пользовательский df с уникальными user_ids и второй df с набором вопросов. Затем...

Предложены оконные функции для расчета кумулятивной суммы столбца для фрейма данных Spark. Однако...

Я хочу отфильтровать статический Dataframe, используя значения из 3 -4 столбцов потокового...

Я пытаюсь расширить регистрацию Spark до Elasticsearch. И я ищу способ установить, записано ли это...

Этот вопрос касается groupByKey () в spark с использованием scala. Рассмотрим ниже данные Name...

У меня есть сервер Nodejs, на котором не установлена ​​spark, и у меня есть spark с настройкой YARN...