Я создаю Продукт через IntelliJ для программы Scala. Я создал еще один продукт без каких-либо...

У меня есть такие данные в файле, и я хотел бы сделать некоторые статистические данные, используя...

У меня есть паркетные файлы со столбцом, содержащим сжатый контент.В настоящее время моя работа...

Я выполняю задание потоковой передачи, где я получаю данные пользовательского типа.Мне нужно...

Рассмотрим сценарий (объекты и зависимости Scala классов): Существует ряд зависимостей, которые...

Я боролся с org.apache.spark.SparkException: Task not serializable, но, наконец, понял, как сделать...

Я пытаюсь записать данные фрейма данных в таблицу cassandra.Как мне отобразить структуру в...

У меня есть класс Java, имя класса которого совпадает с именем одного из его атрибутов. Теперь при...

У меня есть файл с полем event_time, каждая запись генерируется каждые 30 минут и указывает,...

Я попытался запустить этот код, но он выдает ошибку. Кажется, я не могу привязаться к конкретному...

У меня есть несколько строк, для которых я хочу токенизировать например: 123ae4rf468 to be split...

Когда я записываю свой фрейм данных в S3, используя df.write .format("parquet")

Ссылаясь на здесь о разнице между saveastable и insertInto В чем разница между следующими двумя...

Я пытаюсь прочитать все файлы в каталоге на s3 через приложение spark, которое выполняется на EMR....

Я некоторое время пытался использовать Akka 2.5 в приложении для Android, но у меня ничего не...

У меня проблема с оптимизацией кода, я работаю с очень большими объемами. Когда я запускаю код на...

Я хотел разделить столбец DataFrame (col3) на несколько столбцов (col_a, col_b, col_c).И заменить...

Я пишу UDF scala, который берет значения из столбца и проверяет, существуют ли конкретные значения...

Кастинг DecimalType(10,5) например 99999.99999 до DecimalType( 5,4) в Apache Spark молча возвращает...

У меня есть набор данных, и мне нужно извлечь данные из столбца на основе позиции индекса Столбец...

Из прочтения о FP я понимаю, что преимущества устранения побочных эффектов заключаются в том, что...

Я пытаюсь протестировать топологию, которая как последний узел имеет таблицу KTable.В моем тесте...

У меня есть dataframe, с индексом, категорией и несколькими другими столбцами.Индекс и категория...

Я работаю с Spark2.3.2 и GraphFrames 0.7.0. У меня есть два кадра данных: node2attrDf и edge2attrDf...

У меня следующие данные фрейма искры. В стране столбца есть 10 различных значений. Я хочу новый...