У меня есть порционный проект на https://app.scrapinghub.com
Я хочу клонировать эту работу с той лишь разницей, что каждая копия работы должна иметь удаленные URL-адреса.У меня есть список URL-адресов, которые нужно скопировать в файл .txt.
Графический способ запуска 'n' различных пауков для одного и того же - действительно трудоемкая задача.
В поисках обходного решения, которое может разрешить передачу / разбор URL-адресов, чтобы один паук мог просматривать все 900+ ссылок в текстовом файле.Все эти ссылки имеют одинаковую структуру, поэтому текущий образец может эффективно очищать каждую ссылку, но у portia нет никакой возможности редактировать URL или запускать несколько пауков.Я определенно не собираюсь создавать 900+ пауков здесь, чтобы по отдельности очистить все эти URL
. Я думаю, что индивидуальная реализация пауков, использующая python, Beautifulsoup была бы более полезной.
Открыта для любых решений.