Если вы имеете в виду создание паука для сканирования целых удаленных сайтов, как это делают такие утилиты, как wget, я не верю, что у cURL есть такая возможность.cURL будет использоваться для выполнения запросов и загрузки каждой страницы, но вы должны создать логику в своем PHP-скрипте, чтобы анализировать содержимое страниц, извлекать ссылки и создавать список URL для сканирования.CURL не делает эту часть для вас.