Как свернуться или сделать веб-страницу?

Question

Я хотел бы создать ночное задание cron, которое извлекает мою страницу stackoverflow и отличает ее от страницы предыдущего дня, чтобы я мог видеть сводку изменений моих вопросов, ответов, рейтинга и т. Д.

К сожалению, я не смог получить правильный набор файлов cookie и т. Д., Чтобы это работало. Есть идеи?

Кроме того, когда бета будет завершена, будет ли моя страница статуса доступна без входа в систему?

Answer 1

Ваша страница состояния теперь доступна без входа в систему (нажмите Выйти и попробуйте). Когда бета-cookie отключен, между вами и вашей страницей статуса ничего не будет.

Для wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

Answer 2

С Марк Харрисон

А вот что работает ...

curl -s --cookie soba =. https://stackoverflow.com/users

А для wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

Answer 3

Хорошая идея:)

Полагаю, вы использовали wget's

--load-cookies (filename)

может немного помочь, но может быть проще использовать что-то вроде Mechanize (в Perl или python), чтобы более полно имитировать браузер и получить хорошего паука.

Answer 4

А вот что работает ...

curl -s --cookie soba=. http://stackoverflow.com/users

Answer 5

Я не мог понять, как заставить cookie-файлы работать, но я смог добраться до своей страницы статуса в браузере, когда я вышел из системы, поэтому я предполагаю, что это сработает, когда stackoverflow станет общедоступным.

Это интересная идея, но разве вы не поднимете различия в базовом HTML-коде? У вас есть стратегия, чтобы избежать различий в HTML, а не фактического содержания?