Чтение файла конфигурации fortigate с помощью Python

Question

Извинения за действительно длинный вопрос.

Я пытаюсь прочитать в файле конфигурации и получить список правил. Я пытался использовать ConfigParser, чтобы сделать это, но это не стандартный файл конфигурации. Файл не содержит заголовка раздела и токена.

т.е.

раздел конфигурации a
установить что-то другое
подраздел config
установите это к этому
следующий
конец

config firewall policy
редактировать 76
установить srcintf "Там"
установить dstintf "Здесь"
установить srcaddr "все"
установить dstaddr "все"
установить действие принять
установить расписание "всегда"
установить услугу "TCP_5600"
следующий
редактировать 77
установить srcintf "здесь"
установить dstintf "там"
установить srcaddr "все"
установить dstaddr "все"
установить действие принять
установить расписание "всегда"
комплект услуг "ПИНГ"
следующий
конец

Поскольку я не мог понять, как заставить ConfigParser работать, я подумал, что попытаюсь перебрать файл, к сожалению, у меня не так много навыков программирования, поэтому я застрял. Я действительно думаю, что делаю это более сложным, чем должно быть. Вот код, который я написал;

class Parser(object):

    def __init__(self):
        self.config_section = ""
        self.config_header = ""
        self.section_list = []
        self.header_list = []

    def parse_config(self, fields): # Create a new section
        new_list = []
        self.config_section = " ".join(fields)
        new_list.append(self.config_section)

        if self.section_list: # Create a sub section
            self.section_list[-1].append(new_list)
        else: self.section_list.append(new_list)

    def parse_edit(self, line): # Create a new header
        self.config_header = line[0]
        self.header_list.append(self.config_header)

        self.section_list[-1].append(self.header_list)  

    def parse_set(self, line): # Key and values
        key_value = {}

        key = line[0]
        values = line[1:]
        key_value[key] = values

        if self.header_list:
            self.header_list.append(key_value)
        else: self.section_list[-1].append(key_value)

    def parse_next(self, line): # Close the header
        self.config_header = []

    def parse_end(self, line): # Close the section
        self.config_section = []

    def parse_file(self, path):
        with open(path) as f:
            for line in f:

                # Clean up the fields and remove unused lines.            
                fields = line.replace('"', '').strip().split(" ")

                if fields[0] == "set":
                    pass
                elif fields[0] == "end":
                    pass
                elif fields[0] == "edit":
                    pass
                elif fields[0] == "config":
                    pass
                elif fields[0] == "next":
                    pass
                else: continue

                # fetch and call method.
                method = fields[0]
                parse_method = "parse_" + method

                getattr(Parser, parse_method)(self, fields[1:])
                return self.section_list

config = Parser().parse_file('test_config.txt')

print config

Вывод, который я ищу, выглядит примерно так:

[['section a', {'нечто': 'чему-то другому'}, ['subsection a', {'this': 'to' ']]], [' policy firewall ', [' 76 ', {' srcintf ':' There '}, {' dstintf ':' Here '} {etc.} {etc.}]]]

и вот что я получаю

[['section a']]

EDIT

Я изменил вышесказанное, чтобы отразить, где я сейчас нахожусь. У меня все еще есть проблемы с получением результата, которого я ожидаю. Я просто не могу понять список правильно.

Answer 1

Я публикую свой ответ для людей, которые впервые пришли сюда из Google при попытке разобрать файл конфигурации Fortigate! Я переписал то, что нашел здесь, основываясь на своих собственных потребностях, и это прекрасно работает.

from collections import defaultdict
from pprint import pprint
import sys

f = lambda: defaultdict(f)

def getFromDict(dataDict, mapList):
    return reduce(lambda d, k: d[k], mapList, dataDict)

def setInDict(dataDict, mapList, value):
    getFromDict(dataDict, mapList[:-1])[mapList[-1]] = value    

class Parser(object):

    def __init__(self):
        self.config_header = []
        self.section_dict = defaultdict(f)     

    def parse_config(self, fields): # Create a new section
        self.config_header.append(" ".join(fields))

    def parse_edit(self, line): # Create a new header
        self.config_header.append(line[0])

    def parse_set(self, line): # Key and values
        key = line[0]
        values = " ".join(line[1:])
        headers= self.config_header+[key]
        setInDict(self.section_dict,headers,values)

    def parse_next(self, line): # Close the header
        self.config_header.pop()

    def parse_end(self, line): # Close the section
        self.config_header.pop()

    def parse_file(self, path):          
        with open(path) as f:
            gen_lines = (line.rstrip() for line in f if line.strip())
            for line in gen_lines:
               # pprint(dict(self.section_dict))
                # Clean up the fields and remove unused lines.            
                fields = line.replace('"', '').strip().split(" ")

                valid_fields= ["set","end","edit","config","next"]
                if fields[0] in valid_fields:
                    method = fields[0]
                    # fetch and call method
                    getattr(Parser, "parse_" + method)(self, fields[1:])

        return self.section_dict

config = Parser().parse_file('FGT02_20130308.conf')

print config["system admin"]["admin"]["dashboard-tabs"]["1"]["name"]
print config["firewall address"]["ftp.fr.debian.org"]["type"]

Answer 2

 class Parser(object):

     def __init__(self):
         self.my_section = 0
         self.flag_section = False
         # ...

    def parse_config(self, fields):
         self.my_section += 1
         # go on with fields
         # ...
         self.flag_section = True

     def parse_edit(self, line):
         ...

     def parse_set(self, line):
         ...

     def parse_end(self, line):
         ...

     def parse_file(self, path):
         with open(path) as f:
              for line in f:
                  fields = f.strip().split(" ")

                  method = fields[0]
                  # fetch and call method
                  getattr(Parser, "parse_" + method)(self, fields[1:])

Answer 3

Я бы сделал это проще:

flagSection = False
flagSub = False

mySection = 0
mySubsection = 0
myItem = 0

with open('d:/config.txt', 'r') as f:
    gen_lines = (line.rstrip() for line in f if line.strip())

    for line in gen_lines:

            if line[0:7]=='config ':
                mySection = mySection + 1
                newLine = line[7:]
                # Create a new section
                # Mark section as open
                flagSection == True

            elif line[0:5]=='edit '):
                mySubsection = mySubsection + 1
                newLine = line[5:]
                # Create a new sub-section
                # Mark subsection as open
                flagSub == true

            elif line[0:4]=='set '):
                myItem = myItem + 1
                name, value = x.split(' ',2)[1:]
                # Add to whatever is open

            elif line=='end':
                # If subsection = open then close and goto end
                if flagSub:
                # Or if section = open then close and goto end
                elif flagSection:
                # :End
                continue

Инструкция gen_lines = (line.rstrip() for line in f if line.strip()) создает генератор непустых строк (благодаря тесту if line.strip()) без перевода строки и без пробелов справа (благодаря line.rstrip())

.

Если бы я знал больше об операциях, которые вы хотите выполнить с именем, значением и в разделе, открытом с помощью if line=='end', я мог бы предложить код с использованием регулярных выражений.

Редактировать

from time import clock

n = 1000000

print 'Measuring times with clock()'

te = clock()
for i in xrange(n):
    x = ('abcdfafdf'[:3] == 'end')
print clock()-te,
print "\tx = ('abcdfafdf'[:3] == 'end')"


te = clock()
for i in xrange(n):
    x = 'abcdfafdf'.startswith('end')
print clock()-te,
print "\tx = 'abcdfafdf'.startswith('end')"



print '\nMeasuring times with timeit module'

import timeit

ti = timeit.repeat("x = ('abcdfafdf'[:3] == 'end')",repeat=10,number = n)
print min(ti),
print "\tx = ('abcdfafdf'[:3] == 'end')"

to = timeit.repeat("x = 'abcdfafdf'.startswith('end')",repeat=10,number = n)
print min(to),
print "\tx = 'abcdfafdf'.startswith('end')"

результат:

Measuring times with clock()
0.543445605517  x = ('abcdfafdf'[:3] == 'end')
1.08590449345   x = 'abcdfafdf'.startswith('end')

Measuring times with timeit module
0.294152748464  x = ('abcdfafdf'[:3] == 'end')
0.901923289133  x = 'abcdfafdf'.startswith('end')

Является ли тот факт, что время меньше с timieit , чем с clock () из-за того, что ГХ отключается при запуске программы? В любом случае, с помощью clock () или timeit module выполнение startwith () занимает больше времени, чем нарезка.

Answer 4

Я не знаю, может ли это вам тоже помочь, но это помогло мне: http://wiki.python.org/moin/ConfigParserExamples

Веселись!