Мне нужно преобразовать dict со значениями dict в паркет, у меня есть данные, которые выглядят так:...

Best В данный момент я экспериментирую с pyspark pandas_udf , но, к сожалению, у меня возникают...

У меня есть файл формата * sales.fea, который я использую для обмена данными между python и R. В RI...

Я ищу конструктор массива стрелок Python. Мой пример использования следующий: у меня есть записи...

Например, у меня есть набор данных, похожий на этот: dataset ├── a=1 │ └── 1.parquet ├── a=2 │ └──...

Я пытаюсь сохранить файл json в HDFS, используя pyarrow.Вот как выглядит мой код. from pyarrow...

Я пытаюсь загрузить данные из Pandas DataFrame s в таблицу BigQuery.У DataFrame есть столбец dtype...

Я пытаюсь преобразовать мой фрейм данных Pandas в фрейм данных PySpark. Функция createDataFrame не...

У меня есть паркет с несколькими обнуляемыми столбцами Int64. Когда я читаю таблицу паркета,...

Я использую Pants для создания файла .pex для моего проекта.Мой файл сборки имеет зависимость для...

Я читаю файл CSV с pandas.read_csv, и он автоматически определяет схему, которая похожа на Column1:...

Я пытаюсь использовать Java API для Apache Arrow для подключения к хранилищу памяти. Я успешно...

Я пытаюсь объединить несколько файлов паркета в один. Их схемы идентичны на местах, но моя...

разработчикам, Я использую стрелку :: MemoryMappedFile и вместо того, чтобы делать копию данных, я...

Я использую библиотеку Pyarrow для оптимального хранения Pandas DataFrame. Мне нужно обработать...

Мне нужно постепенно загружать данные в Pandas из файлов Parquet, хранящихся в s3, я пытаюсь...

Я пытаюсь подключиться к HDFS через Pyarrow, но это не работает, потому что libhdfs библиотека не...

Я использую toPandas () для DataFrame, который не очень большой, но я получаю следующее исключение:...

Попытка использовать pyarrow для доступа к файлу hdfs и не в состоянии заставить его работать, ниже...

Для разбора файла большего размера мне нужно последовательно записывать большое количество файлов...

Используя AWS Firehose, я конвертирую входящие записи в паркет. В одном примере у меня есть 150k...

Я создал файл паркета с помощью Pyarrow, и его можно запросить с помощью Pyspark.Однако его нельзя...

Я хочу использовать pyarrow для чтения и записи из hdfs. Я установил hadoop на моей 64-битной...

Я пытаюсь записать кадр данных Pandas в многораздельный файл: df.to_parquet('output

Я пытался читать документы, но я все еще в замешательстве.Смогут ли таблицы pyarrow работать с...