Мы создаем новое озеро данных для огромного количества данных из различных источников, сохраняя...

У меня есть паркетные файлы, написанные Пандасом (пиарроу) с полями типа Double.Ниже приведена...

Я сталкиваюсь с ошибкой нехватки памяти при попытке сохранить кадр данных, и я не совсем понимаю,...

Я пытаюсь выполнить SQL-запрос на Spark, который генерирует таблицу с примерно 10 000 столбцов, и...

У меня есть Java-программа, которая использует AvroParquetWriter для создания файлов паркета. Я...

Я использую Azure SDK, библиотеки avro-parquet и hadoop для чтения файла паркета из Blob Container

У меня большая работа (с данными), я записал вывод в hdfs.Вывод файла паркета не является пошаговым

Я сохранил таблицу кустов в формате Parquet и успешно загрузил в нее локальные данные.При...

Есть ли пакет nuget для apache parquet (cpp)? Я искал один, но не нашел его. Если нет, то как мне...

Мой скрипт ETL читает три таблицы из реляционной базы данных, выполняет некоторые операции через...

У меня есть два основных вопроса о формате файла apache parquet: На веб-сайте apache упоминается,...

Я пишу приложение для хранения / чтения файлов в формате паркета. Я использую AvroParquetReader /...

У меня есть файл Parquet, и я не хочу читать весь файл в память. Я хочу прочитать метаданные, а...

Я пытаюсь установить fastparquet, чтобы преобразовать файл данных pandas в файл паркета.Но даже...

Вы можете использовать S3 Select с Spark на Amazon EMR и с Databricks , но только для файлов CSV и...

Я прочитал файл паркет , который является выходом spark mllib , используя pyarrow.parquet . Выход...

Я создаю несколько фреймов данных Pandas и сохраняю их как parquet файлы на моем жестком диске:...

Я получаю эту ошибку всякий раз, когда пытаюсь установить pyarrow на моем компьютере, она 64-битная...

Я преобразую 10 больших файлов фиксированной ширины (в среднем 19 ГБ) в паркет.Я делаю это,...

Моя конфигурация: Confluent (5.0.0) Kafka выдает несколько авро-сообщений. Рабочий Connect...

Я искал варианты для загрузки (в основном, очистки и восстановления) файла Parquet из S3 в DynamoDB

У меня есть большой набор данных с демографическими данными населения в год по стране. Я использую...

Я использую spark2.3, я получаю ошибку ниже.Я нашел этот тип многих исключений в Интернете, но не...

Я пытаюсь загрузить файл с разделителями трубы в куст, сохраняя его в формате Parquet. Я получаю...

Я пытаюсь преобразовать xml-файл в avro, а затем в паркетный формат без использования инструментов...