Добрый день, сегодня я спрашиваю своих братьев о «приложении для гусеничной машины», которое должно содержать следующие части:
сохраняет результаты в базе данных
фронт получит все ссылки на любой данный веб-сайт, проиндексированные ниже друг друга
, если результаты этого сканера слишком длинные, поэтому перейдите на следующую страницу, сосчитав последнююномер в URL-адресе и снова получите ссылки, как описано в разделе
Сначала получите ссылки, для которых в их URL-адресе «& id =», а затем другие
эта задача действительно для настоящего G: D
это мой код до сих пор:
<?php
function crawl_page($url, $depth = 5)
{
if (!isset($url) || $depth == 0) {
return;
}
$dom = new DOMDocument('1.0');
@$dom->loadHTMLFile($url);
$anchors = $dom->getElementsByTagName('a');
foreach ($anchors as $element) {
$href = $element->getAttribute('href');
if (0 !== strpos($href, 'http')) {
$path = '/' . ltrim($href, '/');
if (extension_loaded('http')) {
$href = http_build_url($url, array('path' => $path));
} else {
$parts = parse_url($url);
$href = $parts['scheme'] . '://';
if (isset($parts['user']) && isset($parts['pass'])) {
$href .= $parts['user'] . ':' . $parts['pass'] . '@';
}
$href .= $parts['host'];
if (isset($parts['port'])) {
$href .= ':' . $parts['port'];
}
$href .= dirname($parts['path'], 1).$path;
}
}
crawl_page($href, $depth - 1);
}
echo "URL:".$url."<br />";
}
crawl_page("http://www.pizza.com/", 2);