Создать CSV-файл с TAGS

Question

Для начала мне нужна помощь с теоретической частью этого. (Если кто-то уже сталкивался с этой проблемой и имеет пример кода, будем благодарны)

Представьте, что у вас есть продукт, например, мыло. Внутри описания будет много тегов (Inside text file).

line 1 productName:SOAP1, productCategory:Bath, productSubCategory: Soap, bla, bla, bla
line 2 productName:SOAP2, productCategory:Bath, productSubCategory: Soap, bla, bla, bla
line 3 productName:SOAP3, productCategory:Bath, productSubCategory: Soap, bla, bla, bla

Все столбцы будут иметь ":"

и мне нужно преобразовать эти теги в CSV, который будет выглядеть следующим образом, используя код Python:

productName    productCategory    productSubCategory
  SOAP1             Bath                 Soap
  SOAP2             Bath                 Soap
  SOAP3             Bath                 Soap

Я не уверен, что это лучший способ сделать это.

Answer 1

Может быть, вы можете использовать JSONField ? В нем должно быть проще хранить данные. Если нет, пожалуйста, посмотрите на код ниже.

На шаге 1 он формирует список тегов, которые, как я предполагаю, могут быть динамическими, и помещает его в первую строку. Далее пишем csv файл с данными. Надеюсь, это поможет:)

import csv

text_area_value = 'productName:SOAP1, productCategory:Bath, productSubCategory: Soap, bla, bla, bla\nproductName:SOAP2, productCategory:Bath, productSubCategory: Soap, bla, bla, bla\nproductName:SOAP3, productCategory:Bath, productSubCategory: Soap, bla, bla, bla'

response = HttpResponse(content_type='text/csv')
response['Content-Disposition'] = 'attachment; filename="data.csv"'
writer = csv.writer(response)

tagsList = []
for i, line in enumerate(text_area_value.split('\n')):
    dataList = []   
    if i == 0:
        #Getting the list of tags and the data from first line
        for tag in line.split(','):
            if ':' in tag:
                tagsList.append(tag.split(':')[0].replace(' ', ''))
                dataList.append(tag.split(':')[1].replace(' ', ''))
        writer.writerow(tagsList) # ok we've got list of tags in a first csv line now we can add rest of csv data
        writer.writerow(dataList) # CSV data - first line
    else:
        #Getting the data from every next line
        for tag in line.split(','):
            if ':' in tag:
                dataList.append(tag.split(':')[1].replace(' ', ''))
        writer.writerow(dataList) # CSV data

return response

Answer 2

Интересно, что вы можете использовать модуль csv как для чтения ввода, так и для записи файла вывода.

import csv

inp_filename = 'tagged.txt'
out_filename = 'csv_from_tagged.csv'

with open(inp_filename, 'r', newline='') as inp:
    line = next(inp)
    fieldnames = [elem.split(':')[0] for elem in line.split(',')]

    inp.seek(0)  # Rewind

    with open(out_filename, 'w', newline='') as outp:
        csv_writer = csv.DictWriter(outp, fieldnames)
        csv_writer.writeheader()

        for row in csv.reader(inp):
            as_dict = dict(tuple(elem.split(':')) for elem in row)
            csv_writer.writerow(as_dict)

print('done')

Answer 3

Это позволяет вам иметь динамические заголовки.

import pandas as pd

df = pd.read_csv(r'yourfile.txt',header=None)
print (df)
#                0                     1                         2
#productName:SOAP1, productCategory:Bath, productSubCategory: Soap
#productName:SOAP2, productCategory:Bath, productSubCategory: Soap
#productName:SOAP3, productCategory:Bath, productSubCategory: Soap

headerlist = []
for x in df.loc[0,:]:
    headerlist.append(x.split(':')[0])

for x in df.index:
    for y in df.columns:
        df.loc[x,y] = df.loc[x,y].split(':')[1]
df.columns = headerlist

print (df)
#  productName  productCategory  productSubCategory
#0       SOAP1             Bath                Soap
#1       SOAP2             Bath                Soap
#2       SOAP3             Bath                Soap

Answer 4

import re
import csv

columns = ['productName', 'productCategory', 'productSubCategory']

with open('data.txt') as infile:
  with open('result.csv', 'w') as outfile:
    writer = csv.DictWriter(outfile, columns)
    writer.writeheader()
    for line in infile:
      row = {}
      for column in columns:
        pattern = column + ':(.+?)(, |$)'
        match = re.search(pattern, line)
        row[column] = match.group(1)
      writer.writerow(row)

Демо

Если вы не знакомы с регулярными выражениями, пора заняться поиском и поиском.

В этом решении предполагается, что каждый элемент имеет форму <tag>:<value>, за которой следуют (1) запятая и пробел (", ") или (2) конец строки (представленный $ в регулярном выражении) ). Если значение содержит ", ", результат будет неверным. Любой пробел после : будет включен в значение.