Мне нужно создать список uniq values([0]-position, delimeter '|')
из файла gzip
, вес которого 1.5 GB
. Но обработка более 2,5 часов, пожалуйста, помогите ускорить обработку.
import gzip
import time
with gzip.open("gzipfilename.gz", "rb") as gz:
uniqSub = []
for i in enumerate(gz):
sepValues = str(gz.readline()).split("|")
if sepValues[0] not in uniqSub:
uniqSub.append(sepValues[0])
print(len(uniqSub))