Я пробовал два способа найти отдельные строки из паркета, но, похоже, это не сработало. Попытка 1:...

Как реализовать метод readSchema () в DataSourceReader в случае обрезки столбцов? Метод readSchema...

Я использую pyspark для генерации фрейма данных, в котором мне нужно обновить столбец 'amt'...

У меня есть таблица улья, которая имеет около 2500 столбцов, когда я читаю ее с помощью spark sql...

Я хотел бы создать таблицу в spark-SQL, используя нижеприведенные данные. [{ "empstr":...

scala> augmentedDF1.write.format("com.mongodb.spark.sql.DefaultSource")

По какой-то странной причине функция dayofmonth в искре, похоже, возвращает странное значение в...

В пользовательском интерфейсе spark есть вкладка SQL.Он может отображать детали запроса в виде...

, пока я загружаю свой CSV-файл и получаю максимальное значение из столбца, получая java.io

Мне нужно пакетировать мой поток Kafka во временные окна по 10 минут каждое, а затем запустить...

У меня есть две таблицы A и B, и я хотел получить подмножество A, ключ k которого также находится в...

Я скачал SqlBase.g4 и использую инструмент antlr v4 для сборки лексера и парсера.Однако когда я...

Мне нужно создать большой кадр данных искры с 1000+ столбцами, 10M + строк, 1000 разделов со...

Я хочу уменьшить кадр данных по ключу.Логика сокращения довольно сложна и требует обновления...

У меня есть десятичный столбец "TOT_AMT", определенный как тип "байты" и логический тип...

Хорошо, Я работаю с платформой spark в Scala.Мой фрейм данных имеет столбец со следующей структурой...

в моем случае я использую набор данных (dataframe) в JavaSparkSQL.Этот набор данных получен из...

У меня Spark SQL как select ... from A join B on A.k = B.k join C on A.k = C.k A имеет 2k...

Мне нужен набор данных из запроса к базе данных (источник данных JDBC), который содержит все строки...

Я пытаюсь подключить куст, используя hive-jdbc и spark local в двух интерфейсах.Но интерфейс jdbc...

У меня есть лог-файл, который содержит более 100 столбцов.Из которых мне понадобились только два...

Можно ли привязать имена столбцов заголовков к полям Java-бина, если они не имеют одинакового имени

У меня есть следующие классы дел с чертой, они расширены от package com.mypackage.spark.event case...

Я пытаюсь присоединить набор данных tsv, который имеет много новых строк в данных, к другому фрейму...

Я настроил Hive с mySQL в качестве моего метастазы.Я могу войти в оболочку улья и успешно создать...