Я хотел бы собрать текст, дату и некоторые другие атрибуты каждого ответа по вопросу о Quora. Мой план состоит в том, чтобы делать запросы на Python и анализировать возвращенные HTML, используя BeautifulSoup. Тем не менее, когда я отправил запрос GET на Python, возвращаемый объект содержит только 10 ответов, в то время как фактическое количество ответов превышает 10. Я знаю, что в браузере вы прокручиваете страницу вниз, чтобы загрузить больше ответов. Кажется, что это происходит из-за того, что вы отправляете запрос POST, который возвращает больше ответов в виде объекта json. См. Снимок экрана ниже.
Однако, когда я отправил запрос POST, используя тот же URL, что и на снимке экрана, я получил неверный запрос (код состояния 400). Кажется, что довольно сложно реализовать жизнеспособное решение, которое могло бы получать все ответы (а не только первые 10) итеративно.
Любая помощь или предложения будут высоко оценены.