Как читать данные из файла .log с помощью панд

Question

У меня есть файл журнала с данными из 100 страниц скрипта webscrape. файл .log читается в журнале следующим образом:

Title: Canon EF 100mm f/2.8L Macro IS USM
Price: 6�900 kr
Link: https://www.finn.no/bap/forsale/ad.html?finnkode=161065896
21-Oct-19 10:21:14 - Found:
Title: Canon EF 100mm f/2.8L Macro IS USM
Price: 7�500 kr
Link: https://www.finn.no/bap/forsale/ad.html?finnkode=155541389
21-Oct-19 10:21:14 - Found:
Title: Panasonic Lumix G 25mm F1.4 ASPH
Price: 3�200 kr
Link: https://www.finn.no/bap/forsale/ad.html?finnkode=161066674

Я хотел бы импортировать эти данные и отправить их в Excel как

title           price      link
canon 100mm     6900kr     https

Answer 1

Вы можете загрузить данные в DataFrame как обычную таблицу, а затем объединить столбцы, используя функции log и reset_index DataFrame. Это предполагает, что в каждой строке есть только один символ «:», отделяющий столбец «ключ» от столбца «значение», и что каждая «запись» имеет строку для каждого ключа.

import pandas as pd

p = pd.read_table("table.log", sep=':', header=None)
df = pd.DataFrame()
keys = set(p[0]) # set of all unique keys

for key in keys:
  # get all values with the current key and re-index them from 0...n
  col_data = p.loc[p[0]==key][1].reset_index(drop=True)
  # put this in a new column named after the key
  df[key] = col_data

Answer 2

Подход необходимо изменить, если файл журнала не в указанном вами порядке. Так как следующая функция всегда начнет находить заголовок, цену и текст ссылки и добавлять в список. Чтобы преобразовать в dataframe, весь список должен быть равной длины. Дайте мне знать, если это работает.

def log_to_frame(location="./datalake/file.log"):
    with open(location, mode='r', encoding='UTF-8') as f:
        title_list = []
        price_list = []
        link_list = []
        for line in f:
            if "Title" in line:
                title = line.split(": ")[1].rstrip()
                title_list.append(title)
            elif "Price" in line:
                price = line.split(": ")[1].replace("�", "").rstrip()
                price_list.append(title)
            elif "Link" in line:
                link = line.split(": ")[1].rstrip()
                link_list.append(title)
            else:
                pass
    main_df = pd.DataFrame({"title": title_list, "price": price_list, "link": link_list})
    return main_df


log_df = log_to_frame()
log_df.to_excel("log.xlsx", index=False)