Я экспериментирую с запуском структурированной потоковой передачи из источника kafka и возвращаю их...

У меня локально настроен спарк 2.2, и я работаю со scala Конфигурация сеанса спарка ниже val...

Вы можете видеть вывод команды lscpu - jack@042:~$ lscpu Architecture: x86_64 CPU op-mode(s):...

У меня есть набор данных, загруженный из файла .csv (здесь имитируется ds), который содержит 2...

У меня есть конвейер данных пакетной обработки на платформе Cloudera Hadoop - файлы обрабатываются...

Я пытаюсь прочитать данные от производителя kafka в формате json. На сервере разработки у меня есть...

Я работаю над реализацией потокового приложения Spark, и мне нужно удалить дубликаты строк на...

У меня есть Spark и Hadoop кластер, которые были построены с Docker Swarm.Они идентифицируются в...

Я использую PySpark в Spark 2.3.1 в AWS EMR (Python 2.7.14) spark = SparkSession \ .builder \

Я поместил инструкции log.info внутри своей UDF, но в кластере происходит сбой.Местные работают...

У меня есть два фрейма данных, один из которых имеет уникальное значение id, а другой может иметь...

Как рассчитать соотношение между количеством разделов и размером DataFrame в конфигурации Spark с...

У нас есть цель HIVE с хранением как паркет.Задания Informatica BDM настроены на использование...

При чтении в файле ORC в Spark, если вы укажете столбец раздела в пути, этот столбец не будет...

У меня есть программа, которая берет данные из вложенных каталогов и затем обрабатывает их.Я думал,...

У меня есть датафрейм, который выглядит следующим образом: column1_ID column2 column3 column4 A_123...

Возможно ли добавить / заменить существующее выражение столбца в DataFrame API / SQL с...

Я пытаюсь выполнить агрегацию с последующим самостоятельным объединением в структурированном потоке...

У меня есть работа, которая читает CSV-файлы, конвертирует их во фреймы данных и записывает в...

Я использую Spark на компьютере с Windows. Я новичок и при создании RDD из файла tsv я столкнулся с...

Я новичок в искре и пытаюсь научиться этому Я пытаюсь создать набор данных из textFile, используя...

Я использовал следующее выражение для преобразования строк в столбцы в данных с использованием...

У меня есть демо в качестве объекта модели Scala. и извлечение данных из кассандры и сохранение в...

Я получаю правильное количество после запуска оператора ANALYZE.Но моя проблема в том, что его...

Мне нужно перебрать все столбцы, чтобы найти сходство значения 1 столбца.Например: ID,FN,LN,Phone...