Ускорьте разбор сжатых файлов jsonlines - PullRequest
Новая
       36

Ускорьте разбор сжатых файлов jsonlines

0 голосов
/ 23 марта 2020

У меня около 5000 .gzip файлов (~ 1 МБ каждый). Каждый из этих файлов содержит данные в формате jsonlines. Вот как это выглядит: 

{"category_id":39,"app_id":12731}
{"category_id":45,"app_id":12713}
{"category_id":6014,"app_id":13567}

Я хочу проанализировать эти файлы и преобразовать их в pandas фрейм данных. Есть ли способ ускорить этот процесс? Вот мой код, но он довольно медленный (0,5 с на файл) 

import pandas as pd
import jsonlines
import gzip
import os
import io


path = 'data/apps/'
files = os.listdir(path)

result = []
for n, file in enumerate(files):
    print(n, file)
    with open(f'{path}/{file}', 'rb') as f:
        data = f.read()

    unzipped_data = gzip.decompress(data)

    decoded_data = io.BytesIO(unzipped_data)
    reader = jsonlines.Reader(decoded_data)

    for line in reader:
        if line['category_id'] == 6014:
            result.append(line)


df = pd.DataFrame(result)

1 Ответ

0 голосов
/ 23 марта 2020

Это должно позволить вам читать каждую строку без загрузки всего файла. 

import pandas as pd
import json
import gzip
import os


path = 'data/apps/'
files = os.listdir(path)

result = []
for n, file in enumerate(files):
    print(n, file)
    with gzip.open(f'{path}/{file}') as f:
        for line in f:
            data = json.loads(line)
            if data['category_id'] == 6014:
                result.append(data)


df = pd.DataFrame(result)
...