Записать вывод из цикла в CSV - PullRequest
Новая
       11

Записать вывод из цикла в CSV

0 голосов
/ 10 февраля 2019

У меня есть скрипт, который предсказывает названия продуктов из входных файлов.Код выглядит следующим образом: 

output_dir = "C:\\Users\\Lenovo\\.spyder-py3\\NER_training"
DIR = 'C:\\Users\\Lenovo\\.spyder-py3\\Testing\\'
print("Loading from", output_dir)
nlp2 = spacy.load(output_dir)
with open('eng_productnames.csv', newline='') as myFile:
    reader = csv.reader(myFile)
    for rowz in reader:
        try:
            filenamez = rowz[1]
            file = open(DIR+filenamez, "r", encoding ='utf-8')
            filecontentszz = file.read()
            for s in filecontentszz:
                filecontentszz = re.sub(r'\s+', ' ', filecontentszz)
                #filecontents = filecontents.encode().decode('unicode-escape')
                filecontentszz = ''.join([line.lower() for line in filecontentszz]) 
                doc2 = nlp2(filecontentszz)
                for ent in doc2.ents:
                    print(filenamez, ent.label_, ent.text)

                break

        except Exception as e:`

, который дает мне вывод в виде строки: 

07-09-18 N021024s16PASBUNDLEACK - Acknowledgement P.txt PRODUCT ABC1
06-22-18 Letter from Supl.txt PRODUCT ABC2
06-22-18 Letter from Req to Change .txt PRODUCT ABC3

Теперь я хочу экспортировать все эти детали в CSV с 2 столбцами,один столбец как FILENAME и один столбец с PRODUCT, в котором все имена файлов и продуктов указаны под соответствующими именами столбцов.Все названия продуктов начинаются с PRODUCT, а затем с названия в строке.Как я могу решить это:

Выходной CSV должен выглядеть так: 

Filename                                                             PRODUCT
  07-09-18 Acknowledgement P.txt                                 ABC1
  06-22-18 Letter Req to Change.txt                              ABC2

Ответы [ 2 ]

0 голосов
/ 10 февраля 2019

Вы можете сделать csv.writer для записи каждой строки в выходной файл, используя writerow вместо печати на экране. 

output_dir = "C:\\Users\\Lenovo\\.spyder-py3\\NER_training"
DIR = 'C:\\Users\\Lenovo\\.spyder-py3\\Testing\\'
print("Loading from", output_dir)
nlp2 = spacy.load(output_dir)
with open('eng_productnames.csv', newline='') as input_file, \
        open('output.csv', 'w') as output_file:
    reader = csv.reader(input_file)
    writer = csv.writer(output_file)
    writer.writerow(["Filename", "Product"])  # this is the header row
    for rowz in reader:
        try:
            filenamez = rowz[1]
            file = open(DIR+filenamez, "r", encoding ='utf-8')
            filecontentszz = file.read()
            for s in filecontentszz:
                filecontentszz = re.sub(r'\s+', ' ', filecontentszz)
                #filecontents = filecontents.encode().decode('unicode-escape')
                filecontentszz = ''.join([line.lower() for line in filecontentszz]) 
                doc2 = nlp2(filecontentszz)
                for ent in doc2.ents:
                    writer.writerow([filenamez, ent.text])

                break

Я предполагаю, что filenamez и ent.text содержит информацию, которую вы хотите в каждом столбце.Если это не так, вы можете манипулировать ими, чтобы получить то, что вам нужно, прежде чем писать в CSV.

0 голосов
/ 10 февраля 2019

Есть много способов достичь этого.Я предпочитаю использовать Pandas - мощную библиотеку для работы с CSV-файлами.Вы можете создать словарь: 

predicted_products = {'FILENAME': [], 'PRODUCT': []}

и итеративно добавлять имена файлов и продукты в соответствующие списки.

После того, как это будет сделано, преобразуйте прогнозируемые продукты в DataFrame и вызовите функцию to_csv: 

import Pandas as pd
predicted_products_df = pd.DataFrame.from_dict(predicted_products)
predicted_products_df.to_csv('your_path/file_name.csv')

Я предпочитаю этот способ, так как вы можете легче редактировать данные перед сохранением файла.

В существующий код, я предполагаю, что print(filenamez, ent.label_, ent.text) печатает вывод.Если так, то: 

import Pandas as pd
output_dir = "C:\\Users\\Lenovo\\.spyder-py3\\NER_training"
DIR = 'C:\\Users\\Lenovo\\.spyder-py3\\Testing\\'
print("Loading from", output_dir)
nlp2 = spacy.load(output_dir)
predicted_products = {'FILENAME': [], 'PRODUCT': []}
with open('eng_productnames.csv', newline='') as myFile:
    reader = csv.reader(myFile)
    for rowz in reader:
        try:
            filenamez = rowz[1]
            file = open(DIR+filenamez, "r", encoding ='utf-8')
            filecontentszz = file.read()
            for s in filecontentszz:
                filecontentszz = re.sub(r'\s+', ' ', filecontentszz)
                #filecontents = filecontents.encode().decode('unicode-escape')
                filecontentszz = ''.join([line.lower() for line in filecontentszz]) 
                doc2 = nlp2(filecontentszz)
                for ent in doc2.ents:
                    print(filenamez, ent.label_, ent.text)
                    predicted_products['FILENAME'].append(filenamez + ' ' + ent.label_)
                    predicted_products['PRODUCT'].append(ent.text)
                break

        except Exception as e:

predicted_products_df = pd.DataFrame.from_dict(predicted_products)
predicted_products_df.to_csv('your_path/file_name.csv')
...