Я использую искру для записи данных в kafka таким способом. df.write (). Формат ( "Кафка"). save ()...

Я новичок в мире скала / искра. Изо всех сил, чтобы найти решение варианта использования. Было бы...

Я хотел бы знать, когда использовать раздвижные окна и опрокидывающиеся окна. Также было бы неплохо...

Я получаю сообщение об ошибке "Исключение в потоке" main "java.lang.NoSuchMethodError: org.apache

Я использую спарк 2.4.4 в блокноте данных ноутбука. У меня есть данные в фрейме данных, которые я...

я использую версию spark-sql-2.4.1 с Kafka 0.10 v. Пока я пытаюсь использовать данные потребителем....

Вариант использования - группировать по каждому столбцу в данном наборе данных и получать счетчик...

Я пытаюсь найти все тексты, которые содержат хотя бы одно ключевое слово в списке приведенных...

Я хочу преобразовать строковые элементы в следующем СДР data0 = sc.parallelize( [('0',...

Я совершенно новый студент в области инженерии данных / машинного обучения и самостоятельного...

Можно ли удалить несколько значений в столбце 3, столбце 4 +--------+--------+--------+--------+...

У меня есть приложение, которое обрабатывает 8 кадров данных в параллельной итерации. Работа...

У меня есть кадр данных, как показано ниже +----------+-----------+---------+-----+------+------+...

Я использую Spark, и у меня есть таблица с определенным форматом строки в одном из столбцов,...

Мне нужно читать файлы от поставщиков, которые могут стать довольно большими (несколько ГБ). Эти...

Я хотел бы выполнить вычисление с одним запросом для нескольких случаев, когда в Spark SQL: Мой...

Я пытаюсь выполнить следующие действия в одном задании: 1) Создать новый файл. 2) Считать вновь...

Я использую спарк 1.6. Мне нужно найти несколько процентилей для столбца в dataframe. Мои данные...

Написание моей первой спарк-программы и, наконец, некоторые базовые вещи работают, но теперь они...

Я пытаюсь зарегистрировать Spark UDF, чтобы помочь мне преобразовать строку XML из таблицы, но...

Я хочу использовать Spark SQL Connector для чтения и записи данных на SQL Server. В качестве...

Я играю со свечным кодом, чтобы узнать больше о тасовании. Я написал следующий код, чтобы увидеть,...

При выполнении Spark-submit со статическим распределением количество порождаемых контейнеров больше...

У меня есть СДР в этом формате: (Int, String, Double) = (Key, Currency, Amount) И еще один СДР со...

У меня есть сценарий использования, в котором я должен применить несколько уже обученных моделей...