Читать неструктурированные данные в pandas - PullRequest
Новая
       8

Читать неструктурированные данные в pandas

0 голосов
/ 25 апреля 2020

У меня есть следующие неструктурированные данные в текстовом файле, которые являются данными журнала сообщений от Discord. 

[06-Nov-19 03:36 PM] Dyno#0000

{Embed}
Server
**Message deleted in #reddit-feed**
Author: ? | Message ID: 171111183099756545

[12-Nov-19 01:35 PM] Dyno#0000

{Embed}
Member Left
@Unknown User
ID: 171111183099756545

[16-Nov-19 11:25 PM] Dyno#0000

{Embed}
Member Joined
@User
ID: 171111183099756545

По сути, моя цель состоит в том, чтобы проанализировать данные и извлечь все сообщения о присоединении и выходе, а затем построить график роста числа участников на сервере. Некоторые сообщения не имеют значения, и каждый блок сообщений также имеет различную длину строк. 

Date        Member-change
4/24/2020   2
4/25/2020   -1
4/26/2020   3

Я попытался проанализировать данные в al oop, но поскольку данные неструктурированы и имеют различную длину строки, я запутался в том, как его настроить. Есть ли способ игнорировать все блоки без "Член присоединен" и "Член оставлен"?

1 Ответ

1 голос
/ 25 апреля 2020

Это структурированный текст, только не так, как вы ожидаете. Файл может быть структурирован, если текст написан в согласованном формате, хотя обычно мы думаем о структурированном тексте как о полях.

Поля разделены заголовком на основе даты, за которым следует {embed} ключевое слово, за которым следует интересующая вас команда. 

#! /usr/bin/env python
# -*- coding: utf-8 -*-

import re
from itertools import count

# Get rid of the newlines for convenience
message = message_log.replace("\n", " ")

# Use a regular expression to split the log file into records
rx = r"(\[\d{2}-\w{3}-\d{2})"
replaced = re.split(rx, message)

# re.split will leave a blank entry as the first entry
replaced.pop(0)

# Each record will be a separate entry in a list 
# Unfortunately the date component gets put in a different section of the list
# from the record is refers to and needs to be merged back together
merge_list = list()

for x, y in zip(count(step=2), replaced):
    try:
        merge_list.append(replaced[x] + replaced[x+1])
    except:
        continue

# Now a nice clean record list exists, it is possible to get the user count
n = 0
for z in merge_list:
    # Split the record into date and context
    log_date = re.split("(\d{2}-\w{3}-\d{2})", z)
    # Work out whether the count should be incremented or decremented
    if "{Embed} Member Joined" in z:
        n = n + 1
    elif "{Embed} Member Left" in z:
        n = n - 1
    else:
        continue
    # log_date[1] is needed to get the date from the record
    print(log_date[1] + " " + str(n))
...