ошибки токенизатора с nltk

Question

Я очень плохо знаком с Python и пытаюсь учиться вместе с использованием nltk.

Я следил за некоторыми примерами и проверял, но, похоже, я очень ограничен в том, что я могу сделать из-за ошибок, возвращаемых python.

Я знаю, что nltk установлен и импортируется нормально, потому что этот код работает

from nltk.sem import chat80
print chat80.items

Однако 'from nltk.tokenizer import *' возвращает

'File "stdin", line1. 

Я получаю похожие ошибки при использовании любого типа "TOKEN =" или я предполагаю токенизацию чего-либо.

За последние несколько дней я много раз устанавливал python, надеясь, что может помочь другая версия или лучшая установка.

Я получаю эту ошибку на Windows7, используя ActivePython2.6, хотя я получил аналогичную ошибку или с Python 3.1 activePython3.1 и Python 2.6. а также на Mac OSx 10.5 с Python 2.5.

Mac выдает немного больше данных с сообщением «Ошибка импорта: нет модуля с именем tokenizer.

Я просто пробую некоторые вводные демонстрационные ролики для nltk онлайн, даже не пытаясь написать свой собственный код, и получаю больше ошибок, чем успехов.

Answer 1

Похоже, пакет nltp не имеет пакета tokenizer.

Быстрый просмотр сайта NLTK показывает, что from nltp.tokenize import * - это то, что вам нужно.

Answer 2

Ответ Адама может быть правильным для вашей непосредственной проблемы с «токенизатором». Вот несколько общих советов:

Помогает, когда кто-то находится на незнакомой территории, читать дорожные знаки, например это вверху страницы загрузок: "" "Хотя Python 3.0 теперь доступен, многие пакеты, которые требуются NLTK, не имеют дистрибутивов для Python 3.0. На данный момент вы должны использовать NLTK с Python 2.4. , 2.5. или только 2.6. *. "" "... это избавило бы вас от попыток использовать Python 3.1. Более того, попытки изучать Python 2.x и 3.x одновременно слишком сложны для новичка.

"" "Я устанавливал python много раз за последние несколько дней, надеясь, что другая версия или более лучшая установка может помочь" "" ... повторные установки одной и той же версии вряд ли помогут.

"" "Однако, from nltk.tokenizer import * возвращает File "stdin", line1" "" ... при обращении за помощью покажите свой ввод и ВСЕ выходные данные, например

>>> from nosuchthing import *
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named nosuchthing
>>>

и не печатать по памяти; используйте копирование / вставку.

В случае возникновения проблемы спланируйте расследование возможных причин. Сначала посмотрите на тех, у кого высокая достоверность и низкая стоимость расследования (например, опечатка или другая ошибка транскрипции). Я не могу вспомнить, где я читал этот совет, но стоит помнить: «Прежде чем винить деяния Бога и деяния Врат, проверь себя».