У меня есть сценарий, где мне нужно вычислить PreviousPolicyNo на основе PolicyNo. Сначала данные...

Это то, что я использую для двух сводных столбцов в Dataframe, где я объединяю два столбца, а затем...

У меня запущена программа spark mlib, которая применяет nlp к свободному тексту. Мне нужно было бы...

У меня есть столбец массивов в кадре данных, и я хочу знать, находится ли какой-либо из элементов...

Я создал приложение IOT на основе колб, где устройства регулярно отправляют данные через API REST,...

Извиняюсь за очень общий вопрос: У меня есть фрейм данных pyspark, и я применяю к нему условия fill

Я пытаюсь запустить группу для работы с огромными данными (около 50 ТБ) примерно так: df_grouped =...

Я пытаюсь использовать scala на кирпичах данных для чтения потока из БД космоса, следуя из этого...

Я попытался добавить столбец с номером строки, используя zipWithIndex, как показано ниже, в spark...

Я боролся с этим некоторое время в скале, и я не могу найти четкого решения для этого. У меня есть...

У меня есть два кадра данных столбцы: ['q1', 'q2', 'q3', 'a1', 'a2'] b столбцы: ['q1', 'q2', 'q3',...

Я хочу записать данные результатов Spark в Apache Druid. Я знаю, что у друида есть нативной партии ...

Я пытаюсь вычислить все пары по кратчайшему пути большого графа с помощью spark. Я использую код из...

Я пытаюсь обновить и вставить записи в старый Dataframe, используя уникальный столбец "ID",...

Spark Scala для selectExpr выдает исключение...

В настоящее время я передаю данные почти в реальном времени из Azure EventHub в местоположение...

Я видел следующее поведение в Apache spark пару раз. Я не в состоянии понять, что представляет...

У меня есть СДР, groupResultMap, и напишите код ниже. if (groupResultMap.isEmpty) Map[String,...

У меня есть таблица с двумя столбцами, один - идентификатор, а другой - значение. Мой столбец...

Я использую Spark 2.4.3 в автономном режиме в Ubuntu. Я использую Maven для создания файла JAR....

Я новичок в Scala и пытаюсь выяснить, как я могу перенаправить свои журналы в файл в Scala. Это...

У меня есть (ключ, значение), значение которого равно списку целых чисел внутри списка. Я имею в...

tl; dr - я записываю много данных в новую таблицу формата Parquet в Hive, но в задании используется...

Схема моего DataFrame выглядит следующим образом: root |-- col1: string (nullable = true) |-- col2:...

Я новичок в Spark. Когда я отправляю программу spark. Она не создает этапов на основе...