Как очистить скрытый сайт, используя python :: стиль отображения: нет - PullRequest
0 голосов
/ 25 января 2020

Я пытался очистить веб-сайт и столкнулся с проблемой: данные на веб-сайте скрыты, и когда я щелкнул знак «+», он показал результат.

Как очистить эти данные, используя python?

    <tr class="ob_gDGC" style="display: none;">

enter image description here

1 Ответ

0 голосов
/ 25 января 2020

Стиль обозначает только то, что на экране отображается, а не документ, поэтому отображайте: ни один из них не ограничивает вас в доступе к данным.

Однако, если данные, к которым вы пытаетесь получить доступ, отсутствуют в домене, у вас есть проблема. Просмотрите страницу в инструментах разработчика, чтобы увидеть, есть ли там данные, прежде чем нажимать кнопку. Если вы нажмете кнопку и добавите дочерние элементы (или узел dom начнет мигать в инструментах google chrome dev), то веб-сайт, который вы пытаетесь очистить, использует javascript dom-манипуляции, и это трудно или невозможно извлечь с помощью библиотеки запросов. Для этого вы будете искать пакет типа pyppeteer (или эквивалентный). При этом вы можете получить веб-страницу и смоделировать событие нажатия на «знак плюс», а затем извлечь необходимые данные.

Я бы посоветовал вам изменить свой пост, чтобы он был немного понятнее, и добавить пример ты пытаешься соскрести.

...