Соскоб в Интернете с помощью Python-Windmill (Как точно дождаться полной загрузки страницы)

Question

1. Я поигрался с мельницей, чтобы попробовать кое-что почистить, но API ждет.forPageLoad не может проверить, полностью ли отображается страница.

2. И в сценарии, где мне нужно перезагрузить страницу с существующим DOM, и я использую waits.forElement, чтобы обнаружить DOM для сценария, чтобы «решить», что страница загружена. Это иногда обнаруживает DOM даже до загрузки страницы.

3. Кроме того, загрузка страницы с помощью тестового клиента windmill в Firefox, кажется, занимает вечность. Эта же страница, если я загружаю ее с помощью своего обычного браузера Firefox, может занять около 2 секунд, но может занять до минуты в тестовом клиенте. Нормально ли это так долго?

4. Наконец, мне было интересно, есть ли лучшая альтернатива ветряной мельнице для веб-скрепинга? Документация кажется немногочисленной.

Пожалуйста, совет. Спасибо: P

Answer 1

 client.waits.sleep(milliseconds=u'2000')

абсолютная пауза в 2 секунды.

 client.waits.forPageLoad(timeout=u'20000')

Будут ждать в будущих строках до тех пор, пока страница не загрузится или не пройдет 20 секунд, что наступит раньше. Думайте об этом как о временном утверждении. Если страница загружается менее чем за 20 секунд, если не сбой.

Надеюсь, это поможет,

TD