Лучший сайт Spider?

Question

Я перевожу кучу сайтов на новый сервер, и для того, чтобы я ничего не пропустил, хочу иметь возможность предоставить программе список сайтов и загрузить на нее каждую страницу / изображение. Есть ли программное обеспечение, которое может сделать это? Я также могу использовать его для загрузки копии некоторых сайтов WordPress, так что я могу просто загружать статические файлы (некоторые из моих сайтов WP никогда не обновляются, поэтому вряд ли стоит устанавливать новые базы данных и т. Д.)

Answer 1

Вы, вероятно, получите много мнений. Вот один из них: http://www.httrack.com/

Answer 2

Wget - ваш инструмент.

в системах unix / linux, возможно, он уже установлен. для систем Windows, скачайте его с http://gnuwin32.sourceforge.net/packages/wget.htm.

это инструмент командной строки, с кучей параметров командной строки для управления способом сканирования целевого веб-сайта используйте "wget ​​--help", чтобы получить список всех доступных опций.