Я создал паука, который выбирает все следующие имена в твиттере.
У меня есть тысячи таких экранных имен, и мне нужно запустить ТО ЖЕ паук, но с другим именем экрана.
имя_экранов используется для изменения начального URL.
process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
screen_names = [...] # from database
for screen_name in screen_names:
process.crawl(TwitterSpider(), start_urls=["https://mobile.twitter.com/{name}/following".format(name=screen_name)])
process.start()
Сейчас это не получается с
2019-05-19 15:26:17 [scrapy.utils.signal] ОШИБКА: Ошибка обнаружена
обработчик сигнала:>
AttributeError: у объекта 'TelnetConsole' нет атрибута 'port'