Я играю на change.org и пытаюсь загрузить пару комментариев к петиции. Для этого я хотел бы знать, откуда извлекаются комментарии, когда пользователь нажимает «загрузить больше причин». Например, посмотрите здесь:
http://www.change.org/petitions/tell-usda-to-stop-using-pink-slime-in-school-food
Глядя на запросы XHR в Chrome, я вижу запросы, отправляемые на http://www.change.org/petitions/tell-usda-to-stop-using-pink-slime-in-school-food/opinions?page=2&role=comments Конечно, номер страницы зависит от количества загрузок комментариев.
Однако эта ссылка приводит к пустой странице, когда я пробую ее в браузере. Это из-за того, что в URL отсутствуют некоторые данные, или это результат некоторого шага аутентификации в javascript, который в первую очередь выполняет запрос?
Будут оценены любые указатели. Спасибо!
РЕДАКТИРОВАТЬ: Благодаря первому ответу, я вижу, что данные принимаются, когда я использую консоль. Как получить те же данные при выполнении запроса из сценария Python. У меня есть для имитации браузера или есть способ просто использовать urllib?