Как я могу красиво напечатать объект дерева nltk? - PullRequest
Новая
       47

Как я могу красиво напечатать объект дерева nltk?

0 голосов
/ 31 августа 2018

Я хочу посмотреть, если результат ниже, то, что мне нужно визуально: 

import nltk 
sentence = [("the", "DT"), ("little", "JJ"), ("yellow", "JJ"), ("dog", "NN"), ("barked","VBD"), ("at", "IN"), ("the", "DT"), ("cat", "NN")]

pattern = """NP: {<DT>?<JJ>*<NN>}
VBD: {<VBD>}
IN: {<IN>}"""
NPChunker = nltk.RegexpParser(pattern) 
result = NPChunker.parse(sentence)

источник: https://stackoverflow.com/a/31937278/3552975

Не знаю, почему я не могу распечатать result. 

result.pretty_print()

Ошибка гласит, что TypeError: not all arguments converted during string formatting. Я использую Python3.5, nltk3.3.

1 Ответ

0 голосов
/ 31 августа 2018

Если вы ищете вывод разбора в скобках, вы можете использовать Tree.pprint(): 

>>> import nltk 
>>> sentence = [("the", "DT"), ("little", "JJ"), ("yellow", "JJ"), ("dog", "NN"), ("barked","VBD"), ("at", "IN"), ("the", "DT"), ("cat", "NN")]
>>> 
>>> pattern = """NP: {<DT>?<JJ>*<NN>}
... VBD: {<VBD>}
... IN: {<IN>}"""
>>> NPChunker = nltk.RegexpParser(pattern) 
>>> result = NPChunker.parse(sentence)
>>> result.pprint()
(S
  (NP the/DT little/JJ yellow/JJ dog/NN)
  (VBD barked/VBD)
  (IN at/IN)
  (NP the/DT cat/NN))

Но, скорее всего, вы ищете 

                             S                                      
            _________________|_____________________________          
           NP                        VBD       IN          NP       
   ________|_________________         |        |      _____|____     
the/DT little/JJ yellow/JJ dog/NN barked/VBD at/IN the/DT     cat/NN

Давайте углубимся в код из Tree.pretty_print() https://github.com/nltk/nltk/blob/develop/nltk/tree.py#L692: 

def pretty_print(self, sentence=None, highlight=(), stream=None, **kwargs):
    """
    Pretty-print this tree as ASCII or Unicode art.
    For explanation of the arguments, see the documentation for
    `nltk.treeprettyprinter.TreePrettyPrinter`.
    """
    from nltk.treeprettyprinter import TreePrettyPrinter
    print(TreePrettyPrinter(self, sentence, highlight).text(**kwargs),
          file=stream)

Создается объект TreePrettyPrinter, https://github.com/nltk/nltk/blob/develop/nltk/treeprettyprinter.py#L50 

class TreePrettyPrinter(object):
    def __init__(self, tree, sentence=None, highlight=()):
        if sentence is None:
            leaves = tree.leaves()
            if (leaves and not any(len(a) == 0 for a in tree.subtrees())
                    and all(isinstance(a, int) for a in leaves)):
                sentence = [str(a) for a in leaves]
            else:
                # this deals with empty nodes (frontier non-terminals)
                # and multiple/mixed terminals under non-terminals.
                tree = tree.copy(True)
                sentence = []
                for a in tree.subtrees():
                    if len(a) == 0:
                        a.append(len(sentence))
                        sentence.append(None)
                    elif any(not isinstance(b, Tree) for b in a):
                        for n, b in enumerate(a):
                            if not isinstance(b, Tree):
                                a[n] = len(sentence)
                                sentence.append('%s' % b)
        self.nodes, self.coords, self.edges, self.highlight = self.nodecoords(
                tree, sentence, highlight)

И похоже, что строка, вызывающая ошибку, равна sentence.append('%s' % b) https://github.com/nltk/nltk/blob/develop/nltk/treeprettyprinter.py#L97

Вопрос , почему возникла ошибка TypeError ? 

TypeError: not all arguments converted during string formatting

Если мы посмотрим внимательно, то, похоже, мы можем использовать print('%s' % b) для большинства основных типов питонов 

# String
>>> x = 'abc'
>>> type(x)
<class 'str'>
>>> print('%s' % x)
abc

# Integer
>>> x = 123
>>> type(x)
<class 'int'>
>>> print('%s' % x)
123

# Float 
>>> x = 1.23
>>> type(x)
<class 'float'>
>>> print('%s' % x)
1.23

# Boolean
>>> x = True
>>> type(x)
<class 'bool'>
>>> print('%s' % x)
True

Удивительно, но даже работает в списке! 

>>> x = ['abc', 'def']
>>> type(x)
<class 'list'>
>>> print('%s' % x)
['abc', 'def']

Но это помешало tuple !! 

>>> x = ('DT', 123)
>>> x = ('abc', 'def')
>>> type(x)
<class 'tuple'>
>>> print('%s' % x)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: not all arguments converted during string formatting

Так что, если мы вернемся к коду в https://github.com/nltk/nltk/blob/develop/nltk/treeprettyprinter.py#L95

if not isinstance(b, Tree):
    a[n] = len(sentence)
    sentence.append('%s' % b)

Поскольку мы знаем, что sentence.append('%s' % b) не может обработать tuple, добавление проверки типа кортежа и объединение элементов в кортеже и преобразование в str приведет к хорошему pretty_print: 

if not isinstance(b, Tree):
    a[n] = len(sentence)
    if type(b) == tuple:
        b = '/'.join(b)
    sentence.append('%s' % b)

[выход]: 

                             S                                      
            _________________|_____________________________          
           NP                        VBD       IN          NP       
   ________|_________________         |        |      _____|____     
the/DT little/JJ yellow/JJ dog/NN barked/VBD at/IN the/DT     cat/NN

Не изменяя код nltk, возможно ли получить красивый отпечаток?

Давайте посмотрим, как выглядит result, то есть Tree объект: 

Tree('S', [Tree('NP', [('the', 'DT'), ('little', 'JJ'), ('yellow', 'JJ'), ('dog', 'NN')]), Tree('VBD', [('barked', 'VBD')]), Tree('IN', [('at', 'IN')]), Tree('NP', [('the', 'DT'), ('cat', 'NN')])])

Похоже, что листья хранятся в виде списка кортежей строк, например [('the', 'DT'), ('cat', 'NN')], так что мы могли бы сделать такой взлом, чтобы он стал списком строк, например [('the/DT'), ('cat/NN')], так что Tree.pretty_print() будет играть хорошо.

Поскольку мы знаем, что Tree.pprint() помогает использовать конкатенацию цепочек строк в нужную нам форму, т. Е. 

(S
  (NP the/DT little/JJ yellow/JJ dog/NN)
  (VBD barked/VBD)
  (IN at/IN)
  (NP the/DT cat/NN))

Мы можем просто вывести строку разбора в скобках, а затем перечитать объект разбора Tree с помощью Tree.fromstring(): 

from nltk import Tree
Tree.fromstring(str(result)).pretty_print()

Finalment: 

import nltk 
sentence = [("the", "DT"), ("little", "JJ"), ("yellow", "JJ"), ("dog", "NN"), ("barked","VBD"), ("at", "IN"), ("the", "DT"), ("cat", "NN")]

pattern = """NP: {<DT>?<JJ>*<NN>}
VBD: {<VBD>}
IN: {<IN>}"""
NPChunker = nltk.RegexpParser(pattern) 
result = NPChunker.parse(sentence)

Tree.fromstring(str(result)).pretty_print()

[выход]: 

                             S                                      
            _________________|_____________________________          
           NP                        VBD       IN          NP       
   ________|_________________         |        |      _____|____     
the/DT little/JJ yellow/JJ dog/NN barked/VBD at/IN the/DT     cat/NN
...