Чтение секционированного паркета в Azure ADLS с использованием Python Pandas - PullRequest
0 голосов
/ 09 июля 2019

Я пытаюсь прочитать данные, хранящиеся в виде партера, в моем хранилище Azure ADLS.

Просто прочитать один файл в фрейм данных Pandas:

token = lib.auth(tenant_id = tenantId, client_secret = clientKey, client_id = clientId)
adlsFileSystemClient = core.AzureDLFileSystem(token, store_name=adls)
with adlsFileSystemClient.open("/path/to/file.parquet", 'rb') as f:
    df = pd.read_parquet(f)

Но когда я пытаюсьчитать разделенный паркет:

with adlsFileSystemClient.open("/path/to/dir/2019/1/12/*.parquet", 'rb') as f:
        df = pd.read_parquet(f)

У меня есть эта ошибка: azure.datalake.store.exceptions.FileNotFoundError: /path/to/dir/2019/1/12/*.parquet

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...