Как я могу сканировать страницу для данных, как если бы они вошли в систему, если у меня есть учетные данные для входа?

Question

Мне нужно почистить некоторые данные со страницы, которая не принадлежит моему домену. Я знаю, как загрузить серверную часть страницы и проанализировать ее на разных языках (asp.net, PHP и т. Д.), Однако мне нужно очистить страницу после ее входа в систему.

Например, на странице будет тег HTML с атрибутом, установленным для идентификатора пользователя, например:

<div id="profile" data-userid="1234"></div>

Атрибут data-userid не имеет идентификатора, если не войти в систему. Можно ли войти на сайт на стороне сервера? (У меня есть учетные данные)

Спасибо,

Thomas

Answer 1

Читайте о curl и CURLOPT_COOKIEFILE в частности.Вы можете использовать curl для публикации форм и поддержки файлов cookie сессии.

Answer 2

Да.Вам нужно использовать компонент HTTP в вашем сканере, который поддерживает сеанс;Вы входите программно, и при каждом сканировании предоставляете куки, которые вы получаете от действия входа.Тестовые комплекты часто имеют такие компоненты - см., Например, SimpleTest .