Я читаю данные из eventHub с использованием потоковой передачи искры, и мне нужно сгенерировать...

Я тестирую приложение PageRank с использованием GraphX. Вот соответствующий код моего искрового...

Мы видим, что драйвер не планирует дополнительные параллельные задания (у нас установлено значение...

Я столкнулся с проблемой при чтении CSV-файла с использованием спарка с многострочным параметром...

Я использую spark sql для выполнения агрегированного запроса к источнику данных паркета. Мой...

У меня есть два искровых фрейма данных: dataframe_1 со всеми транзакциями элементов и dataframe_2 с...

Позвольте мне уточнить мой вопрос: Я использую кластер, который содержит главный узел и 3 рабочих...

Приложение My Spark работает на 80 разделах.Я бы предположил, что в интерфейсе Spark большинство...

У меня есть таблица с картой. Я хочу сделать 2 отдельных столбца из этой карты - 1. столбец ключей...

У меня S3 Bucket разделен так: bucket |--2018 |--2019 |--01 |--02 |--01 |--files.parquet ... Хорошо...

Я запускаю сценарий подготовки данных со Sparklyr на Rstudio (работает в EMR). Сбой выполнения кода...

Я создал пакет python, который я использую в своем основном файле python, который будет работать на...

Я работаю с Kmeans как алгоритм кластеризации, мой код хочет выполнить и показывает мне эту ошибку:...

Я работаю над проектом, в котором у меня около 500 имен столбцов, но мне нужно применить функцию...

В настоящее время я работаю над проектом в Spark 2.1.0, и мне нужно импортировать библиотеку, от...

Имеют два кадра данных, как показано ниже first_df |-- company_id: string (nullable = true) |--...

Я работаю над некоторым назначением, где у нас есть две таблицы с одинаковыми / разными столбцами....

Мне нужно прочитать 1 файл XML из HDFS с кириллическими символами и проанализировать этот файл с...

Я запускаю искровую оболочку с искрой 2.3.1 со следующими параметрами:...

Я хочу потоковую передачу CSV-файлов на спарк с kafka. Все файлы сохраняются в формате hdf другим...

Я новичок в scala и spark, и мне нужно построить график из данных.это структура моего фрейма данных...

Я пытаюсь подключиться к Hive с помощью Spark-SQL, но не могу прочитать таблицы из улья. Версия...

В своем приложении Spark я создаю несколько (2 - 3) сеансов зажигания с помощью метода newSession...

Наше приложение обрабатывает потоковые данные, которые записываются в файлы паркета. Время от...

Я создаю среду анаконды (py37) и хочу запустить ноутбук jupyter.Однако после того, как я напечатал...