Распакуйте файлы .gz из лазурного озера данных, используя python

Question

Я пытаюсь распаковать файл .gz, хранящийся в озере данных Azure.

from azure.datalake.store import core, lib

Tenant_Id = '####'
Client_Key = '####'
Client_Id = '####' 
token = lib.auth(tenant_id=Tenant_Id, client_secret=Client_Key, client_id=Client_Id)

store_name = 'root'
# Connecting to adl
adl = core.AzureDLFileSystem(token, store_name=store_name)
# List of .gz files 
list_of_gz_files = adl.ls('/test/2018')
# Would like to uzip files present inside list_of_gz_files list

Можно ли распаковать их, используя gzip и т. Д.?

Answer 1

Предоставьте 3 варианта для распаковки zip-файлов в ADL.

1. Используйте фабрику данных Azure для распаковки файлов, используя операцию копирования файлов (встроенная поддержка файлов gzip).

2.Использование Пользовательское действие в АПД.Создайте задание в пакете Azure и получите доступ к озеру данных, чтобы разархивировать файл с кодом Python. (Используйте пакет gzip )

3.Используйте пользовательский экстрактор в U-SQL, см. Следующую трассировку: Как предварительно обработать и распаковать файл .gz в хранилище озера данных Azure?