Увеличение времени загрузки страницы при очистке - PullRequest
Новая
       27

Увеличение времени загрузки страницы при очистке

0 голосов
/ 07 апреля 2019

Я собираю продукты с какого-то сайта электронной коммерции и не знаю, почему время последующих запросов постоянно увеличивается. Это связано с ограничением скорости? Но если так, то почему между запросами нет четких резких изменений?

https://docs.google.com/spreadsheets/d/e/2PACX-1vTz-483uB3Bew_Bdhtsp9p_q5IsUBNR_LYrl7c-DmxbEGuMo3zBbmh84zJn7WWn8ZT3Bm1xqaMYfFXJ/pubchart?oid=506546153&format=interactive

Я пытался одновременно просматривать этот сайт из другого браузера, и все загружалось с нормальной скоростью. 

  const startTime = new Date();
  if (await page.$(nextPageSelector) !== null) {
    await page.$eval(nextPageSelector, link => link.click());
  }

  await page.waitForSelector(mainSelector);

  const currentTime = new Date();
  let diff = currentTime - startTime;
  diff /= 1000;
  fs.appendFileSync('logs.txt', `${diff}\n`, (err) => {});

Каждая страница должна загружаться со скоростью около 100 первых страниц, т. Е. <2 секунды </p>

...