Как создать pandas фрейм данных из файлов паркета, хранящихся в хранилище Google - PullRequest
0 голосов
/ 25 февраля 2020

Мне нужно создать фрейм данных, используя библиотеку pandas, используя файлы паркета, размещенные в облачном хранилище Google. Я искал документы и примеры в Интернете, но не могу понять, как go об этом.

Не могли бы вы помочь мне, указав мне правильное направление?

I Я не ищу решение, но хочу найти место, где я мог бы найти дополнительную информацию, чтобы я мог разработать собственное решение.

Заранее спасибо.

1 Ответ

0 голосов
/ 26 февраля 2020

Вы можете прочитать его с помощью pandas .read_parquet следующим образом:

df = pandas.read_parquet('gs:/bucket_name/file_name')

Кроме того, вам понадобится библиотека gcsfs и либо pyarrow, либо fastparquet.

Не забудьте предоставить учетные данные на случай, если вы получите доступ к приватному ведру.

...