Как обнаружить запрос от Кукольника?

Question

Интересно, существует ли какой-либо флаг или тег, который веб-сайт может использовать для обнаружения запроса, полученного от Puppeteer?

Когда я запустил свой код на основе Puppeteer для посещения целевого веб-сайта, я обнаружил, чтокажется, веб-сайт знает, что запрос был сделан Puppeteer.

Как это можно сделать?

Answer 1

Я нашел способ преодолеть ограничение. Это простой способ:

const browser = await puppeteer.launch({headless: false, ignoreDefaultArgs: ["--enable-automation"],});

Это позволит браузеру не настраивать navigator.webdriver переменную.

Answer 2

Если вы работаете с кукловодом и хотите передать некоторую информацию на веб-сайт, чтобы отследить ваше сканирование, лучший способ сделать это - установить пользовательский агент:

const browser = await puppeteer.launch({
    args: ['--user-agent=hhh'],
});
const page = await browser.newPage();

См. здесь больше информации

Viceversa, если вы владеете веб-сайтом и хотели бы знать, являются ли посещения реальными или с бота (кукловод, скребок или что-то еще), см. этоответь за некоторые из них. Также этот ответ