Как получить информацию с помощью Python, когда данные сильно вложены - PullRequest
Новая
       35

Как получить информацию с помощью Python, когда данные сильно вложены

0 голосов
/ 01 ноября 2018

У меня есть текстовый файл, который содержит некоторые данные для добычи.

Структура показана ниже 

name (personA {
    field1 : data1
    field2 : data2
    fieldN : dataN
    subfield() {
        fieldx1 : datax1
        fieldxN : dataxN
        }
    }
   name (personB {
    field1 : data11
    field2 : data12
    fieldN : data1N
    }

В записи какого-либо человека подполе отсутствует, и в выходных данных должно быть указано, что подполе в этом случае неизвестно. Ниже приведен код, который я использую для извлечения данных 

import re
data = dict()
with open('data.txt', 'r') as fin:
    FLAG, FLAGP, FLAGS = False, False, False
    for line in fin:
        if FLAG:
            if re.search('field1', line):
                d1 = line.split()[2]
                data['field1'] = d1
            if re.search('fieldN', line):
                dN = line.split()[2]
                data['fieldN'] = dN
                data['fieldxn'] = 'unknown'
                FLAGP = True
        if FLAGS:
            if re.search('fieldxN', line):
                dsN = line.split()[2]
                data['fieldxn'] = dsN

        if re.search('name\ \(', line):
            pn = line.split()[1]
            FLAG = True
            data['name'] = pn
        if re.search('subfield', line):
            FLAGS = True
        if len(data) == 4:
           if FLAGP:
               print data
               FLAGP = False
               FLAG = False
               FLAGS = False

Вывод показан ниже 

{'field1': 'data1', 'fieldN': 'dataN', 'name': '(personA', 'fieldxn': 'unknown'}
{'field1': 'data11', 'fieldN': 'data1N', 'name': '(personB', 'fieldxn': 'unknown'}

Проблема заключалась в том, что я не знаю, где печатать данные, поэтому в настоящее время я использую приведенную ниже статистику для печати неверных данных 

if len(data) == 4:
    if FLAGP:
       print data
       FLAGP = False
       FLAG = False
       FLAGS = False

Буду признателен, если кто-нибудь предложит правильное извлечение данных

1 Ответ

0 голосов
/ 01 ноября 2018

Я бы использовал другой подход к разбору, сохраняя подполя (и другие поля) в словаре. 

data = open('data.txt', 'rt').read()

### Given a string containing lines of "fieldX : valueY" 
### return a dictionary of values
def getFields(field_data):
    fields = {}
    if (field_data != None):
        field_lines = field_data.strip().split("\n")
        for pair in field_lines:
            name, value = pair.split(":")
            fields[name.strip()] = value.strip()
    return fields


### Split the data by name
people_data = data.strip().split("name (")[1:]

### Loop though every person record
for person_data in people_data:
    name, person_data = person_data.split(" {", 1)   # split the name and the fields
    # Split out the subfield data, if any
    subfield_data = None
    if (person_data.find("subfield()") > -1):
        field_data, subfield_data = person_data.split("subfield() {", 1)
        subfield_data = subfield_data.split("}")[0]
    # Separate the fields into single lines of pairs
    fields = getFields(field_data)
    # and any subfields
    subfields = getFields(subfield_data)

    print("Person: "+str(name))
    print("Fields: "+str(fields))
    print("Sub_Fields:"+str(subfields))

Что дает мне: 

Person: personA
Fields: {'field1': 'data1', 'field2': 'data2', 'fieldN': 'dataN'}
Sub_Fields:{'fieldx1': 'datax1', 'fieldxN': 'dataxN'}
Person: personB
Fields: {'field1': 'data1', 'field2': 'data2', 'fieldN': 'dataN'}
Sub_Fields:{}

Таким образом, вы можете просто настроить вывод в зависимости от того, были ли подполя None или нет. Идея состоит в том, чтобы вводить ваши данные в более гибкие структуры, а не в "грубую силу", как вы это делали. В приведенном выше примере я много использую split(), чтобы дать более гибкий путь, а не полагаться на поиск точных имен. Очевидно, это зависит и от ваших требований к дизайну.

...