Есть ли способ или инструмент для автоматического посещения всех страниц моего сайта?

Question

Я хочу автоматически посещать / сканировать все страницы моего сайта, чтобы создать файл кэша.Есть ли способ или инструмент для этого?

Answer 1

Просто используйте любого робота, который загружает всю вашу страницу:

https://superuser.com/questions/14403/how-can-i-download-an-entire-website

Например, wget:

wget -r --no-parent http://site.com/songs/

Answer 2

вы используете CMS? у вас есть список ваших страниц? Вы можете написать простой цикл PHP для загрузки всех страниц, используя CURL или php fopen ()

$pages_ar = array(
    "http://mydomain.com/page1.htm",
    "http://mydomain.com/page2.htm",
    "http://mydomain.com/page2.htm",
);

foreach($pages_ar as $page)
{
   fopen($page, "r");
}

базовый, но я надеюсь, что вы поняли ...

Answer 3

Вы можете использовать рекурсивную опцию wget, чтобы сделать это.Измените example.com на свой домен:

wget --recursive --no-parent --domains=example.com --level=inf --delete-after

Answer 4

Метод серфинга верен, но если вам нужно решение php, вы можете проверить компонент Symfony 2-s BrowserKit, который можно использовать как отдельный компонент.

https://github.com/symfony/BrowserKit