Я конвертирую некоторые данные json из 1 таблицы в формат ORC в другой таблице.Я попытался...

У меня есть какой-то фрейм данных. Я сохраняю этот фрейм данных, используя следующий код: df.write

У нас есть кластерная транзакционная таблица (10 тыс. Сегментов) , которая кажется неэффективной...

У меня есть внешняя таблица ORC с большим количеством маленьких файлов, которые ежедневно поступают...

У меня есть следующий фрагмент кода для записи и чтения файла ORC. Во время записи для каждой 100-й...

Мне нужно перенести очень большие таблицы, хранящиеся в локальной HDFS, в Google Cloud. Все таблицы...

Я пытаюсь сгенерировать набор данных в Spark (2.3) и записать его в формате файла ORC. Я пытаюсь...

У меня есть данные в Hive, а нижние файлы хранятся в формате .orc. я не хочу запрашивать улей для...

Я загружаю некоторые таблицы ORC из S3, но я полагаю, что я сталкиваюсь с некоторыми проблемами с...

Я использую Spark 2.3 для преобразования некоторых данных CSV в ORC для использования с Amazon...

Я пытаюсь прочитать таблицу Hive в Spark. Ниже приведен формат таблицы Улей: # Storage Information...

Загрузка таблицы формата ORC без разделов куста занимает 2 часа, тогда как загрузка той же таблицы...

Я работаю с HDP 2.6.4, а точнее Hive 1.2.1 с TEZ 0.7.0, Spark 2.2.0. Моя задача проста.Сохраните...

Я использую Spark 2.2.1, у которого есть полезная опция, чтобы указать, сколько записей я хочу...

Предполагается, что файлы паркета на AWS S3 (используются для запросов в AWS Athena). Мне нужно...

Я пытаюсь прочитать файл схемы (который является текстовым файлом) и применить его к моему...

Программа чтения OrcFile имеет два параметра: путь к файлу и конфигурацию файловой системы,...

Я включил перечисленные ниже конфигурации в мое приложение для потоковой передачи искры, но я не...

Я делаю проект для школы на предоставленном небольшом кластере (4 узла, 1 - это namenode и spark...

В моем коде свиньи переменная event_date вычисляется следующим образом: SUBSTRING(case when...

Мое Java-приложение потребляет данные в реальном времени, а затем публикует их в файл ORC на S3 ....

У меня есть файл .orc, есть ли способ преобразовать его в файл .csv?или есть другой способ...

у нас возникают редкие проблемы с записью в S3 внутри заданий Spark в Amazon EMR (5.13). Вот часть...

как прочитать таблицу кустов транзакций орков в spark? Возникла проблема при чтении таблицы...

В большинстве вопросов / ответов по SO и в Интернете обсуждается использование Hive для объединения...