Apify: сохранить заголовки в RequestQueue - PullRequest
Новая
       12

Apify: сохранить заголовки в RequestQueue

0 голосов
/ 25 февраля 2019

Я пытаюсь просканировать нашу локальную установку Confluence с помощью PuppeteerCrawler.Моя стратегия состоит в том, чтобы сначала войти в систему, а затем извлечь сессионные куки и использовать их в заголовке стартового URL.Код выглядит следующим образом:

Сначала я захожу 'пешком', чтобы извлечь соответствующие учетные данные: 

const Apify = require("apify");

const browser = await Apify.launchPuppeteer({sloMo: 500});
const page = await browser.newPage();
await page.goto('https://mycompany/confluence/login.action');

await page.focus('input#os_username');
await page.keyboard.type('myusername');
await page.focus('input#os_password');
await page.keyboard.type('mypasswd');
await page.keyboard.press('Enter');
await page.waitForNavigation();

// Get cookies and close the login session
const cookies = await page.cookies();
browser.close();
const cookie_jsession = cookies.filter( cookie => {
    return cookie.name === "JSESSIONID"
})[0];
const cookie_crowdtoken = cookies.filter( cookie => {
    return cookie.name === "crowd.token_key"
})[0];

Затем я создаю структуру сканера с подготовленным заголовком запроса:

const startURL = {
    url: 'https://mycompany/confluence/index.action',
    method: 'GET',
    headers:
    {
        Accept: 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7',
        Cookie: `${cookie_jsession.name}=${cookie_jsession.value}; ${cookie_crowdtoken.name}=${cookie_crowdtoken.value}`,
    }
}

const requestQueue = await Apify.openRequestQueue();
await requestQueue.addRequest(new Apify.Request(startURL));
const pseudoUrls = [ new Apify.PseudoUrl('https://mycompany/confluence/[.*]')];

const crawler = new Apify.PuppeteerCrawler({
    launchPuppeteerOptions: {headless: false, sloMo: 500 },
    requestQueue,
    handlePageFunction: async ({ request, page }) => {

        const title = await page.title();

        console.log(`Title of ${request.url}: ${title}`);
        console.log(page.content());

        await Apify.utils.enqueueLinks({
            page,
            selector: 'a:not(.like-button)',
            pseudoUrls,
            requestQueue
        });

    },
    maxRequestsPerCrawl: 3,
    maxConcurrency: 10,
});

await crawler.run();

Похоже, что вход в систему и извлечение cookie-файлов в порядке («свернутый» запрос работает отлично), но Confluence не принимает вход в систему посредством кукловода / безголового хрома.Кажется, что заголовки как-то теряются ..

Что я делаю не так?

1 Ответ

0 голосов
/ 26 февраля 2019

Не вдаваясь в подробности, почему заголовки не работают, я бы предложил определить пользовательский gotoFunction в параметрах PuppeteerCrawler, например: 

{
    // ...
    gotoFunction: async ({ request, page }) => {
        await page.setCookie(...cookies); // From page.cookies() earlier.
        return page.goto(request.url, { timeout: 60000 })
    }
}

Таким образом, вынет необходимости выполнять синтаксический анализ, и файлы cookie будут автоматически вставляться в браузер перед каждой загрузкой страницы.

В качестве примечания изменение заголовков запросов по умолчанию при использовании браузера без заголовка не рекомендуется, посколькуможет привести к блокировке на некоторых сайтах, которые сопоставляют полученные заголовки со списком известных отпечатков браузера.

Обновление:

Следующий раздел больше не актуален, поскольку теперь вы можете использовать Requestкласс для переопределения заголовков, как и ожидалось.

Проблема заголовков - это сложная проблема, включающая перехват запросов в Puppeteer. Вот связанная проблема GitHub в Apify SDK.К сожалению, метод переопределения заголовков через объект Request в настоящее время не работает в PuppeteerCrawler, поэтому вы потерпели неудачу.

...