Как читать несколько разделенных файлов .gzip в Spark Dataframe? - PullRequest
Новая
       24

Как читать несколько разделенных файлов .gzip в Spark Dataframe?

3 голосов
/ 04 октября 2019

У меня есть следующая папка с секционированными данными - 

my_folder
 |--part-0000.gzip
 |--part-0001.gzip
 |--part-0002.gzip
 |--part-0003.gzip

Я пытаюсь прочитать эти данные в кадре данных, используя - 

>>> my_df = spark.read.csv("/path/to/my_folder/*")
>>> my_df.show(5)
+--------------------+
|                 _c0|
+--------------------+
|��[I���...|
|��RUu�[*Ք��g��T...|
|�t���  �qd��8~��...|
|�(���b4�:������I�...|
|���!y�)�PC��ќ\�...|
+--------------------+
only showing top 5 rows

Также попытался использовать это для проверки данных -

>>> rdd = sc.textFile("/path/to/my_folder/*")
>>> rdd.take(4)
['\x1f�\x08\x00\x00\x00\x00\x00\x00\x00�͎\\ǖ�7�~�\x04�\x16��\'��"b�\x04�AR_<G��"u��\x06��L�*�7�J�N�\'�qa��\x07\x1ey��\x0b\\�\x13\x0f\x0c\x03\x1e�Q��ڏ�\x15Y_Yde��Y$��Q�JY;s�\x1d����[��\x15k}[B\x01��ˀ�PT��\x12\x07-�\x17\x12�\x0c#\t���T۱\x01yf��\x14�S\x0bc)��\x1ex���axAO˓_\'��`+HM҈�\x12�\x17�@']

ПРИМЕЧАНИЕ : Когда я делаю zcat part-0000.gzip | head -1 для чтения содержимого файла, он показывает, что данные разделены табуляцией и на простом для чтения английском языке.

Какправильно читать эти файлы в кадре данных?

1 Ответ

2 голосов
/ 07 октября 2019

По какой-то причине Spark не распознает расширение файла .gzip. Поэтому мне пришлось изменить расширения файлов, прежде чем читать разделенные данные- 

import os

# go to my_folder
os.chdir("/path/to/my_folder")

# renaming all `.gzip` extensions to `.gz` within my_folder
cmd = 'rename "s/gzip/gz/" *.gzip'
result_code = os.system(cmd)

if result_code == 0:
    print("Successfully renamed the file extensions!")

    # finally reading the data into a dataframe
    my_df = spark.read.csv("/path/to/my_folder/*", sep="\t")
else:
    print("Could not rename the file extensions!")
...