Как исправить код Python 3 для извлечения определенных строк из текстового файла - PullRequest
Новая
       31

Как исправить код Python 3 для извлечения определенных строк из текстового файла

0 голосов
/ 28 марта 2019

Я пытаюсь извлечь определенные строки из 4,7 ГБ текстового файла в другой текстовый файл.

Я довольно плохо знаком с Python 3.7.1, и это был лучший код, который я мог придумать.

Вот пример того, как выглядит текстовый файл: 

C00629618|N|TER|P|201701230300133512|15C|IND|DOE, JOHN A|PLEASANTVILLE|WA|00000|PRINCIPAL|DOUBLE NICKEL ADVISORS|01032017|40|H6CA34245|SA01251735122|1141239|||2012520171368850783
C00501197|N|M2|P|201702039042410893|15|IND|DOE, JANE|THE LODGE|GA|00000|UNUM|SVP, CORPORATE COMMUNICATIONS|01312017|230||PR1890575345050|1147350||P/R DEDUCTION ($115.00 BI-WEEKLY)|4020820171370029335
C00177436|N|M2|P|201702039042410893|15|IND|DOE, JOHN|RED ROOM|ME|00000|UNUM|SVP, DEPUTY GENERAL COUNSEL, BUSINESS|01312017|384||PR2260663445050|1147350||P/R DEDUCTION ($192.00 BI-WEEKLY)|4020820171370029336
C00177436|N|M2|P|201702039042410895|15|IND|PALMER, LAURA|TWIN PEAKS|WA|00000|UNUM|EVP, GLOBAL SERVICES|01312017|384||PR2283905245050|1147350||P/R DEDUCTION ($192.00 BI-WEEKLY)|4020820171370029342
C00501197|N|M2|P|201702039042410894|15|IND|COOPER, DALE|TWIN PEAKS|WA|00000|UNUM|SVP, CORP MKTG & PUBLIC RELAT.|01312017|384||PR2283904845050|1147350||P/R DEDUCTION ($192.00 BI-WEEKLY)|4020820171370029339

И вот код, который я написал: 

import re

with open("data.txt", 'r') as rf:
    for line in rf:
        field_match = re.match('^(.*):(.*)$',line)

        if field_match :
            (key) = field_match.groups()
            if key == "C00501197" :
                print(rec.split('|'))

with open('extracted_data.txt','w') as wf:
    wf.write(line)

Мне нужно извлечьполные строки, содержащие идентификатор C00501197, а затем программа записывает эти извлеченные строки в другой текстовый файл, но на данный момент он извлекает только одну строку, и эта строка не начинается с идентификатора, который я хочу извлечь.

Ответы [ 3 ]

0 голосов
/ 28 марта 2019

Вы должны реализовать встроенный модуль csv, который входит в стандартную комплектацию Python.Он может легко разбирать каждую строку в списке.Попробуйте что-то вроде этого: 

import csv

with open('text.txt', 'r') as file:
    my_reader = csv.reader(file, delimiter='|')
    for row in my_reader:
        if row[0] == 'C00501197':
            print(row)

Это должно вывести строки, которые вы хотите.Затем вы можете делать все, что хотите, чтобы обработать их и сохранить их снова.

0 голосов
/ 28 марта 2019

Не используйте регулярные выражения, если вы можете избежать этого. csv - хороший выбор, или используйте простое манипулирование строками. 

ans = []

with open('data.txt') as rf:
    for line in rf:
        line = line.strip()
        if line.startswith("C00501197"):
            ans.append(line)

with open('extracted_data.txt', 'w') as wf:
    for line in ans:
        wf.write(line)

Ваш выходной код также был немного сбит с толку - всегда записывал последнюю строку в файле, а не выбранные записи.

0 голосов
/ 28 марта 2019

Вам не нужно проходить через регулярные выражения, просто разбейте строку на основе разделителя и проверьте интересующее вас n-е поле: 

found_lines = []

with open("data.txt", 'r') as rf:
    for line_file in rf:
        line = line_file.split("|")
        if line[0] == "C00501197" :
            found_lines.append( line )

with open('extracted_data.txt','w') as wf:
    for found_line in found_lines :
        wf.write("|".join(map(str,found_line)))

Это должно работать.

...