Какую технологию / инструмент следует использовать, чтобы я мог удалить веб-сайт, содержащий огромные данные (4,5 миллиона страниц плюс). Для открытия каждой записи есть капча.
Я пробовал селен, но были проблемы, связанные с разрешением капчи, а также было слишком много времени.
Примечание: я хочу получать данные каждые 7 до 10 дней. Поэтому мне нужно решение, которое может получить максимум страниц за раз, поэтому за короткое время я могу получить большой кусок данных.