Наборы данных NLTK Reuters не найдены - PullRequest
0 голосов
/ 02 ноября 2018

Я скачал набор данных Reuters из nltk, используя следующую команду:

import nltk
nltk.download('reuters')

Я получил подтверждение, что набор данных был загружен, и я вижу его в "C: / Users / username / AppData / Roaming / nltk_data".

Однако, когда я хочу прочитать набор данных, python не может его увидеть! Я получаю следующую ошибку:

C:\Users\username\python\Python37-32\Lib\site-packages\sklearn\externals\joblib\externals\cloudpickle\cloudpickle.py:47: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
Traceback (most recent call last):
  File "C:\Users\username\python\Python37-32\Lib\site-packages\nltk\corpus\util.py", line 80, in __load
    try: root = nltk.data.find('{}/{}'.format(self.subdir, zip_name))
  File "C:\Users\username\python\Python37-32\Lib\site-packages\nltk\data.py", line 675, in find
    raise LookupError(resource_not_found)
LookupError: 
**********************************************************************
  Resource [93mreuters[0m not found.
  Please use the NLTK Downloader to obtain the resource:

  [31m>>> import nltk
  >>> nltk.download('reuters')
  [0m
  Searched in:
    - 'C:\\Users\\username/nltk_data'
    - 'C:\\nltk_data'
    - 'D:\\nltk_data'
    - 'E:\\nltk_data'
    - 'C:\\Users\\username\\python\\Python37-32\\nltk_data'
    - 'C:\\Users\\username\\python\\Python37-32\\share\\nltk_data'
    - 'C:\\Users\\username\\python\\Python37-32\\lib\\nltk_data'
    - 'C:\\Users\\username\\AppData\\Roaming\\nltk_data'
*******
During handling of the above exception, another exception occurred:
    Traceback (most recent call last):
      File "C:\Users\username\eclipse-workspace\ML\src\PAs\pa2\Test.py", line 17, in <module>
        from commons import util, datasets, runClassifier, mlGraphics
      File "C:\Users\username\eclipse-workspace\ML\src\commons\datasets.py", line 258, in <module>
        class Reuters:
      File "C:\Users\username\eclipse-workspace\ML\src\commons\datasets.py", line 259, in Reuters
        documents = reuters.fileids()
      File "C:\Users\username\python\Python37-32\Lib\site-packages\nltk\corpus\util.py", line 116, in __getattr__
        self.__load()
      File "C:\Users\username\python\Python37-32\Lib\site-packages\nltk\corpus\util.py", line 81, in __load
        except LookupError: raise e
      File "C:\Users\username\python\Python37-32\Lib\site-packages\nltk\corpus\util.py", line 78, in __load
        root = nltk.data.find('{}/{}'.format(self.subdir, self.__name))
      File "C:\Users\username\python\Python37-32\Lib\site-packages\nltk\data.py", line 675, in find
        raise LookupError(resource_not_found)
    LookupError: 
    *********
      Resource [93mreuters[0m not found.
      Please use the NLTK Downloader to obtain the resource:
      [31m>>> import nltk
      >>> nltk.download('reuters')
      [0m
      Searched in:
        - 'C:\\Users\\username/nltk_data'
        - 'C:\\nltk_data'
        - 'D:\\nltk_data'
        - 'E:\\nltk_data'
        - 'C:\\Users\\username\\python\\Python37-32\\nltk_data'
        - 'C:\\Users\\username\\python\\Python37-32\\share\\nltk_data'
        - 'C:\\Users\\username\\python\\Python37-32\\lib\\nltk_data'
        -C:\\Users\\username\\AppData\\Roaming\\nltk_data' 

Я пытался вручную создать каталог "C: / Users / username / nltk_data" и вставить туда файл reuters.zip, но это не помогло! Когда я загружаю его снова с помощью nltk.download (), он показывает мне следующее:

[nltk_data] Downloading package reuters to C:\Users\username/nltk_data...
[nltk_data]   Package reuters is already up-to-date!

Есть намеки? Мне также интересно, почему пути, напечатанные Python, содержат косую черту / и обратную косую черту \ одновременно?

Ответы [ 3 ]

0 голосов
/ 03 ноября 2018

Поскольку модуль imp устарел при использовании nltk с python 3.7, используйте import importlib вместо import imp или попробуйте запустить код с более старой версией python.

0 голосов
/ 16 февраля 2019

В моем случае я просто захожу в папку, куда загружается корпус, и просто распаковываю архив. Чтобы увидеть, где был загружен корпус:

nltk.download ( 'рейтер')

[nltk_data] Загрузка пакета reuters в /home/denys/nltk_data...
[nltk_data] Пакет reuters уже обновлен!

0 голосов
/ 02 ноября 2018

это мой код. Вы можете получить помощь соответственно

import nltk
#nltk.download('punkt')
#nltk.download('averaged_perceptron_tagger')
var = open("e:\Assignment\my_file.txt","r") #open file
lines = var.read() #read all lines
sentences = nltk.sent_tokenize(lines) #tokenize sentences
nouns = [] #empty to array to hold all nouns

for sentence in sentences:
     for word,pos in nltk.pos_tag(nltk.word_tokenize(str(sentence))):
         if (pos == 'NN' or pos == 'NNP' or pos == 'NNS' or pos == 'NNPS'):
             nouns.append(word)


print (nouns)
...