когда я запускаю этот код, он показывает ошибку

Question

filename='metamorphosis_clean.txt'

file=open(filename,'rt')

text=file.read()

file.close()


from nltk import sent_tokenize

sentences=sent_tokenize(text)

print(sentences[0])

Error:
Traceback (most recent call last):
  File "split_into_sentenes.py", line 1, in <module>
    import nltk

  File "/usr/local/lib/python2.7/dist-packages/nltk/__init__.py", line 114, in <module>
    from nltk.collocations import *

  File "/usr/local/lib/python2.7/dist-packages/nltk/collocations.py", line 37, in <module>
    from nltk.probability import FreqDist
  File "/usr/local/lib/python2.7/dist-packages/nltk/probability.py", line 47, in <module>
    from collections import defaultdict, Counter
  File "/usr/local/lib/python2.7/dist-packages/nltk/collections.py", line 13, in <module>
    import pydoc
  File "/usr/lib/python2.7/pydoc.py", line 56, in <module>
    import sys, imp, os, re, types, inspect, __builtin__, pkgutil, warnings
  File "/usr/lib/python2.7/inspect.py", line 39, in <module>
    import tokenize
  File "/usr/lib/python2.7/tokenize.py", line 39, in <module>
    COMMENT = N_TOKENS
NameError: name 'N_TOKENS' is not defined

Answer 1

По всей вероятности, у вас есть файл с именем token.py в текущем каталоге, то есть в каталоге, из которого вы запускаете скрипт split_into_sentenes.py.

Если присутствует локально, token.py будет импортировано раньше, чем в стандартной библиотеке , и это приведет к появившейся ошибке.

Проверьте, существует ли он, и при необходимости переименуйте его во что-то, что не конфликтует со стандартной библиотекой.