Как скачать мобильную версию сайта с помощью Scrapy

Question

Я пытаюсь понять, как загрузить мобильную версию веб-сайта с помощью Scrapy (например, Google).

Я не знаю, как эмулировать эти запросы, поскольку у меня нет отладчика вмой телефон.Как я могу сделать это с помощью Scrapy или как я могу отлаживать мобильные запросы, используя мой рабочий стол

Answer 1

Вы можете полностью использовать свой рабочий стол для эмуляции мобильного поведения.Используйте инструменты разработчика Chrome и нажмите кнопку Toogle device toolbar:

Таким образом, вы можете проверить, какие запросы используются для мобильной версии.

Теперь обычно это задается заголовком User-Agent, поэтому только мобильным, который может, например, изменять USER_AGENT в настройках:

USER_AGENT = 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1'