Я настроил конвейер для входящих событий из потока в Apache Kafka. Spark подключается к Kafka,...

Я попытался суммировать элементы массива через цикл while, используя следующий код def sum(input:...

Мне нужно использовать зашифрованные куки в проекте Play Framework с контроллерами Java. Я впервые...

Я пытаюсь передать и преобразовать несколько фреймов данных из Scala в Pyspark. когда я пробую его...

Я передал строку (datestr) функции (которая выполняет ETL на фрейме данных в искре с использованием...

Я использую класс case, который имеет вложенные классы case, и Seq[Nested Case Classes] Проблема...

Я хотел бы добавить элемент в зависимости от результата другого условия.Как и сейчас, я сделал это...

Предположим, у меня есть кадр данных, такой как: import org.apache.spark.sql.{Row, DataFrame,...

Пытаясь понять, как лучше всего справляться с побочными эффектами в FP. Я реализовал эту...

Мне нужно перебрать rdd, вынуть данные для обработки и поместить их в буфер списка.Когда я...

У меня есть СДР, как показано ниже, и я хотел бы получить доступ к элементам в каждой строке по их...

Я хочу вставить данные в уже существующую многораздельную паркетную таблицу Hive с помощью Spark...

Я написал крошечный веб-сайт для проверки рейтинга Google в Scala 2.12.x, используя скребок страниц...

У меня есть потоковое приложение, которое обрабатывает потоковый DataFrame со столбцом «body»,...

Рассмотрим черту, которая выполняет «кодирование» произвольных объектов: trait Encoder[R] { def...

Я использую spark 2.4 и scala 2.11.12, в оболочке spark я столкнулся с очень странной проблемой,...

Я пытаюсь сослаться на проект в github из моего текущего проекта как исходную зависимость. Имеют...

Я работаю над XML-файлом, который содержит теги мыла. Я хочу удалить эти теги мыла как часть...

Я пишу записную книжку на Python, и мне нужно делегировать часть работы в Scala UDF.Я хочу иметь...

Я записываю данные json из структурированной потоковой передачи Kafka в путь к файлу, и когда я...

Я новичок в разжигании и пытаюсь поиграть с данными, чтобы получить тренировку. Я использую блоки...

У меня есть несколько строковых значений в одном столбце, и я хотел бы заменить подстроки в этом...

Я создал приложение, которое использует Spark-Streaming с пользовательским приемником Google Pub /...

Попытка заменить ноль на 0 в кадре данных, используя UDF ниже. Там, где я могу ошибаться, код...

(Я новичок в Spark, Impala и Kudu.) Я пытаюсь скопировать таблицу из БД Oracle в таблицу Impala,...