Мне нужен веб-паук, чтобы найти определенные ссылки с регулярным выражением.
Паук будет посещать список веб-сайтов, находить ссылки, которые соответствуют списку шаблонов регулярных выражений, посещать эти соответствующие ссылки и повторяться до заданного уровня глубины..
Я собирался написать это на php, но я не очень хорошо разбираюсь с потоками на php, и мне нужны потоки для этого приложения.
Итак, что, по вашему мнению, является лучшим решением?
Может быть, есть какое-то существующее приложение / код, который я мог бы настроить для создания этого паука.