Как ускорить обработку файла gzip в Python - PullRequest
0 голосов
/ 09 октября 2019

Мне нужно создать список uniq values([0]-position, delimeter '|') из файла gzip, вес которого 1.5 GB. Но обработка более 2,5 часов, пожалуйста, помогите ускорить обработку.

import gzip
import time

with gzip.open("gzipfilename.gz", "rb") as gz:
    uniqSub = []
    for i in enumerate(gz):
        sepValues = str(gz.readline()).split("|")
        if sepValues[0] not in uniqSub:
            uniqSub.append(sepValues[0])
    print(len(uniqSub))
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...