Проблемы с сохранением содержимого веб-страницы в html - PullRequest
0 голосов
/ 29 апреля 2020

Я делаю запрос в твиттере, чтобы найти твиты за определенный период. После этого я начинаю прокручивать страницу вниз до последнего твита. Далее я сохраняю html код этой страницы (щелкните правой кнопкой мыши -> сохранить как ...). В этом файле html отображаются только последние твиты. Как сохранить все твиты в формате html?

1 Ответ

0 голосов
/ 29 апреля 2020

Скорее всего, Twitter добавляет / удаляет из своего кода html динамически. Вероятно, он использует бесконечный свиток с, казалось бы, бесконечными страницами. При использовании браузера вы видите только «снимок» всех твитов, и их никогда не удастся сохранить. Я могу доказать или проверить это с помощью инспектора вашего браузера, а затем прокрутить. Я никогда не пробовал, но в инспекторе кода вы можете видеть, что добавлено / удалено или скрыто. Javascript отвечает за то, что вы видите и что вы можете сохранить как ..

С помощью Firefox Ctrl + Shift + C Я нашел код HTML, помеченный как 'aria-label = "Временная шкала: Ваш домашний график ». Под ним вы найдете видимые твиты. При прокрутке вы видите только те, которые можно сохранить в файл. Здесь только одиннадцать твитов. При прокрутке число добавляется и удаляется, но доступно только уменьшенное число.

Единственный способ просмотреть все твиты - это когда Твиттер позволяет вам получить доступ к их базе данных твитов, может быть через интерфейс программистов, но все равно тогда их будет слишком много, чтобы спасти их всех.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...