ImportError: Нет модуля с именем toripchanger, как запустить scrapy с верной версией Python - PullRequest
Новая
       29

ImportError: Нет модуля с именем toripchanger, как запустить scrapy с верной версией Python

0 голосов
/ 18 февраля 2019

Python 3 не является моей версией по умолчанию.Я хочу использовать его, потому что один пакет, который я хочу использовать toripchanger, доступен только под Python3.

Так что моя версия pip3: 

C:\Users\Truc>pip3 -V
pip 18.1 from c:\python\python37\lib\site-packages\pip (python 3.7)

Я использую скрап.spider, который я использовал для запуска в версии Python 2.7, и он отлично работает, но знаю, что я использую 3.7 в oder для использования toripchanger Я уточнил в своих файлах это вверху: 

#!"C:\Python37\python.exe"
# -*- coding: utf-8 -*-

приведенный выше код касается самого файла паука, middlewares.py, settings.py, items.py и pipelines.py.

В middlewares.py я добавил несколько строк: 

...
from scrapy.conf import settings
from toripchanger import TorIpChanger
...
ip_changer = TorIpChanger(reuse_threshold=3)

class ProxyMiddleware(object):
    _requests_count = 0

    def process_request(self, request, spider):
        self._requests_count += 1
        if self._requests_count > 10:
            self._requests_count = 0 
            ip_changer.get_new_ip()

        request.meta['proxy'] = settings.get('HTTP_PROXY')
        spider.log('Proxy : %s' % request.meta['proxy'])

Проблема при запуске моего паука scrapy crawl spider заключается в том, что я получаю эту ошибку: 

File "C:\Users\Truc\...\middlewares.py", line 13, 
in <module> from toripchanger import TorIpChanger
ImportError: No module named toripchanger

Вы можете увидеть все строки ошибок в конце этой темы

Проблема для меня в том, что я попробовал то, что предусмотрено в этой теме , поэтому я сделал pip3 install setuptools даже pip3 install --upgrade setuptools, я сделал pip3 install Twisted-18.9.0-cp37-cp37m-win32.whl, как рекомендовано в этой теме потому что это было необходимо для установки scrapy в моей версии Python 3.7.

Как я уже сказал, целые строки ошибок, где я вижу c:\python27, в то время как я уточнил #!"C:\Python37\python.exe" вмои файлы 

[in] scrapy crawl spider
[out]

2019-02-18 14:27:11 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot:I_AM_A_POLITE_ROBOT)

2019-02-18 14:27:11 [scrapy.utils.log] INFO: Versions: lxml 4.2.1.0, libxml2 2.9.5, 
cssselect 1.0.3, parsel 1.4.0, 
w3lib 1.19.0, Twisted 17.9.0, 
Python 2.7.9 (default, Dec 10 2014, 12:24:55) [MSC v.1500 32 bit (Intel)], 
pyOpenSSL 17.5.0 (OpenSSL 1.1.0g  2 Nov 2017), 
cryptography 2.1.4, Platform Windows-7-6.1.7601-SP1
2019-02-18 14:27:11 [scrapy.crawler] INFO: Overridden settings
{'NEWSPIDER_MODULE': 'folder.spiders', 
'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['folder.spiders'],
'RETRY_TIMES': 5, 'BOT_NAME': 'I_AM_A_POLITE_ROBOT',
'RETRY_HTTP_CODES': [401, 403, 404, 408, 500, 502, 503, 504],
'AUTOTHROTTLE_ENABLED': True,'DOWNLOAD_DELAY': 2}

2019-02-18 14:27:11 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.logstats.LogStats',
'scrapy.extensions.telnet.TelnetConsole',
'scrapy.extensions.corestats.CoreStats',
'scrapy.extensions.throttle.AutoThrottle']

2019-02-18 14:27:11 [py.warnings] WARNING: 
c:\python27\lib\site-packages\scrapy\utils\deprecate.py:
156:ScrapyDeprecationWarning: 
`scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware` 
class is deprecated, use
`scrapy.downloadermiddlewares.useragent.UserAgentMiddleware`
instead ScrapyDeprecationWarning)
Unhandled error in Deferred:

2019-02-18 14:27:11 [twisted] CRITICAL: Unhandled error in Deferred:

2019-02-18 14:27:11 [twisted] CRITICAL:
Traceback (most recent call last):
File "c:\python27\lib\site-packages\twisted\internet\defer.py", line 1386, in
_inlineCallbacks
result = g.send(result)
File "c:\python27\lib\site-packages\scrapy\crawler.py", line 98, in crawl
six.reraise(*exc_info)
File "c:\python27\lib\site-packages\scrapy\crawler.py", line 80, in crawl
self.engine = self._create_engine()
File "c:\python27\lib\site-packages\scrapy\crawler.py", line 105, in _create_engine
return ExecutionEngine(self, lambda _: self.stop())
File "c:\python27\lib\site-packages\scrapy\core\engine.py", line 69, in __init__self.downloader = downloader_cls(crawler)
File "c:\python27\lib\site-packages\scrapy\core\downloader\__init__.py", line88, in __init__self.middleware = DownloaderMiddlewareManager.from_crawler(crawler)
File "c:\python27\lib\site-packages\scrapy\middleware.py", line 58, in from_crawler
return cls.from_settings(crawler.settings, crawler)
File "c:\python27\lib\site-packages\scrapy\middleware.py", line 34, in from_settings
mwcls = load_object(clspath)
File "c:\python27\lib\site-packages\scrapy\utils\misc.py", line 44, in load_object
mod = import_module(module)
File "c:\python27\lib\importlib\__init__.py", line 37, in import_module__import__(name)
File "C:\Users\...\middlewares.py", line 13, in <module>
from toripchanger import TorIpChanger
ImportError: No module named toripchanger

Ответы [ 2 ]

0 голосов
/ 18 февраля 2019

Windows всегда будет использовать Python по умолчанию.

https://docs.python.org/3/faq/windows.html#how-do-i-make-python-scripts-executable

Чтобы использовать другую версию Python без изменения Windows по умолчанию, вы должны сделать что-то вроде этого (точный путь будет отличатьсяпо настройке системы): 

C:\Program Files\[your python path]\python.exe "myfile.py"
0 голосов
/ 18 февраля 2019

Хорошо, на случай, если вы установили Python 2.7 после 3.7, Windows по умолчанию будет рассматривать последнюю установленную версию Python как версию по умолчанию.

...