У меня есть вложенный JSON, где мне нужно преобразовать в плоский DataFrame, не определяя и не...

Я относительно новичок в программировании scala и spark. У меня есть сценарий использования, когда...

У меня есть следующие данные: - +-------------+ | card type| +-------------+ |ColonialVoice| |...

У меня проблема с анализом json, когда поле может иметь разные типы примитивных значений. Например,...

Приложение работает на IntelliJ с локальным режимом Spark. В цикле, когда тема Consumer from Kafka...

Я работаю с фреймами данных Spark и хочу обновить столбец column_to_be_updated в таблице кустов,...

Работа с версией kafka: 2.0.1 & kafka-streams-scala версия 2.0.1 Регистрация сообщений отладки,...

Я использую версию spark 2.2.1 и версию Carbondata 1.5.3.Следуя инструкциям Официальное руководство...

Я запускаю задание структурированной потоковой передачи в приемник MongoDB, и я сталкиваюсь с...

У меня есть интерполятор xxx реализуется макросом (я владею кодом) и возвращает XXX. Я хочу...

У меня проблемы с производительностью при записи искровых данных в cassandra. У меня проблемы с...

HikariCP используется в библиотеке Slick 3 для настройки пула соединений. В соответствии с HikariCP...

Я нахожусь в процессе преобразования функции Python для подсчета дождя def extract_cycles(series):...

Я использую ScalaPB. У меня есть 2 типа сообщений. У обоих есть поле с именем type. например,...

Я хочу скачать очень большой файл с FTP-сервера.Можно ли начать загрузку с определенного смещения

Я попытался реализовать функцию, которая принимает другую функцию и применяет ее в переданном...

Я пытаюсь отделить свою логику в приложении spark .Я создал отдельный класс для определений UDF и...

Я загружаю некоторые данные из oracle db и пытаюсь выполнить действие по подсчету данных. Но не...

Итак, у меня есть эти 2 файла (принимая местоположение файла hdfs в таблице кустов), file1 с...

У меня есть файл Excel в качестве исходного файла, и я хочу прочитать данные из файла Excel и...

Я пытаюсь получить доступ к своей базе данных MariaDB в Spark для выполнения SQL-запросов к ней.Он...

У меня есть DStream[RawWeatherData] объект с именем parsedWeatherStream. Каждый объект в...

Я пытаюсь добавить аннотацию (newrelic для трассировки) к persistantActor receiveCommand в scala....

У меня есть нормальная карта скала в Redis (ключ и значение). Теперь я хочу прочитать эту карту в...

Я новичок в Scala и Spark, может кто-нибудь оптимизировать код ниже Scala для нахождения...