Получение данных HTML со страницы за (необязательным) экраном входа в систему для использования в Yahoo!труба

Question

Я пытался использовать модуль Fetch Page в Yahoo Pipes, чтобы получить содержимое страницы ниже, но безрезультатно:

Пример ссылки

, когда вы впервые посещаете страницу в вашем браузере, вам предоставляется возможность войти в систему, и это страница, которую Yahoo!Pipes Fetch Page модуль извлекает.Однако после обновления страницы в вашем браузере экран входа в систему заменяется страницей, содержащей таблицу, содержащую информацию, которую я ищу для извлечения.

Есть ли способ вызвать «второй»страница, возможно, с использованием YQL, или какой-либо другой сценарий на другой веб-странице, который извлекает HTML-код со страницы, содержащей данные, так что я могу использовать это в моем канале?1011 *

Answer 1

На целевой странице устанавливается cookie-файл браузера для отслеживания / проверки сеансов, а Yahoo Pipes или YQL не могут их обработать.

Вам нужно будет спросить об использовании cURL на веб-сервере PHP илиGoogle App Engine для извлечения данных, потому что cURL также имеет возможность сохранять любые файлы cookie, отправленные на него, и, если необходимо, отвечать на собственные.