Есть ли скрытый инструмент автоматизации браузера без головы, похожий на марионетку для Python?

Question

Мне известно о библиотеке Pyppeteer и Pyppeteer Stealth, но проблема с ними в том, что веб-сайт, с которого я пытаюсь очистить информацию, обнаруживает Pyppeteer Stealth (Python трансплантация Puppetteer) и блокирует его. Оригинальный Puppetteer Stealth, используемый на node JS, отлично работает на этом веб-сайте, однако я бы предпочел создать этот скребок на Python, поскольку я гораздо лучше знаком с ним.

Какие другие скрытые и до дата: доступны инструменты автоматизации браузера без головы? К сожалению, библиотека запросов и запросов- html также не работает на этом сайте.

Answer 1

Если вас не так сильно волнует автоматизация программного обеспечения, я бы просто рекомендовал изучить Scrapy (и Scrapy Spla sh, если вам нужно отобразить js, поэтому я предполагаю, что вы хотите использовать Pyppeteer в первую очередь) в сочетании с использованием некоторых базовых c тактик, чтобы вас не поймали как бота, таких как ротация пользовательского агента и ротация прокси.

Это такти c, которые я использую тоже сделать скребок для similarweb.com на данный момент.