Как перенести ресурсы с проприетарной CMS?

Question

Мне нужно перенести наш сайт с проприетарной CMS, которая использует активные страницы сервера. Есть ли инструмент или методика, которая поможет загрузить ресурсы с существующего сайта? Я думаю, я ищу инструмент, который будет сканировать и очищать весь сайт.

Дополнительной проблемой является то, что сайт использует SSL и защищен аутентификацией на основе форм. У меня есть необходимые учетные данные, и я могу получить cookie, который проверяет сеанс, но я не уверен, куда идти дальше, и я не хочу изобретать велосипед, если мне помогут существующие инструменты.

РЕДАКТИРОВАТЬ - я использую ОС Windows

Answer 1

Wget может быть хорошим инструментом для использования

wget --load-cookies cookies.txt --mirror --page-requisites http://example.com/

добавьте --convert-links, если вы хотите сделать его более подходящим для локального архива, а не что-то, что вы можете повторно загрузить куда-нибудь.

Windows-версия wget доступна из проекта gnuwin32 на sourceforge.net http://gnuwin32.sourceforge.net/packages/wget.htm

Answer 2

Если вы знаете Perl, вам может понравиться WWW :: Mechanize . Зависит от уровня автоматизации, которого вы пытаетесь достичь - wget, вероятно, подойдет в некоторых случаях.

Answer 3

У вас есть много вариантов. Следует учитывать, насколько сложна аутентификация. Помимо wget , вы можете посмотреть curl (очень надежный вариант с привязками для разных языков), Python's urllib , Apache HttpClient WWW-Механизация и т. Д.

Answer 4

wget --http-user:username --http-pass:password -r http://yoursite.com 

Это приведет к извлечению всего сайта (рекурсивно). Если вы используете Windows, вам нужно установить Cygwin или что-то подобное, чтобы использовать его, хотя я считаю, что есть версии Windows / клоны wget, которые вы можете скачать.