Я уже прошел скрап и фронтера док.У меня есть 50 отдельных пауков для разных веб-сайтов, которые запускаются с использованием scrapy runspider python_file.py.Теперь я хочу контролировать или отслеживать всех пауков, записывать сканирование и избегать повторного сканирования существующих URL, которые я уже сканировал.Есть ли другой способ выполнить эту задачу.
создал новый проект и попытался записать сканирование, показывая ошибку, как графики не импортируются