dealgoround.com и citypockets.com имеют доступ к учетным записям пользователей и их ежедневным сделкам с livingsocial.com и других сайтов ежедневных сделок. Эти веб-сайты просят пользователей предоставить свои учетные данные для входа на соответствующие веб-сайты, а затем импортировать данные учетной записи. LivingSocial и другие веб-сайты не предоставляют API-доступ к учетным записям пользователей.
Я также хочу такой доступ к другим веб-сайтам и импортировать данные оттуда. Но я не могу найти бэкэнд-процесс, с помощью которого dealgoround.com и citypockets.com импортируют данные из Groupon и LivingSocial и т. Д.
К настоящему времени я могу выяснить, что веб-сканеры / пауки могут использоваться для сбора данных с веб-страниц. Но я не уверен, что веб-сканеры могут быть полезны в сценарии, когда нам нужно войти в систему, а URL-адреса страниц зашифрованы или, по крайней мере, являются динамически генерируемыми URL-адресами.
Пожалуйста, помогите мне и предложите мне способ сделать это. Если сканеры являются решением этой проблемы, предоставьте ссылки на некоторые API веб-сканеров, которые я могу использовать в своем приложении .net.
Спасибо
Atif