приложение на гусеничном ходу php 2018 - PullRequest
0 голосов
/ 17 сентября 2018

Добрый день, сегодня я спрашиваю своих братьев о «приложении для гусеничной машины», которое должно содержать следующие части:

  • сохраняет результаты в базе данных

  • фронт получит все ссылки на любой данный веб-сайт, проиндексированные ниже друг друга

  • , если результаты этого сканера слишком длинные, поэтому перейдите на следующую страницу, сосчитав последнююномер в URL-адресе и снова получите ссылки, как описано в разделе

  • Сначала получите ссылки, для которых в их URL-адресе «& id =», а затем другие

эта задача действительно для настоящего G: D

это мой код до сих пор:

<?php
function crawl_page($url, $depth = 5)
{

if (!isset($url) || $depth == 0) {
    return;
}


$dom = new DOMDocument('1.0');
@$dom->loadHTMLFile($url);

$anchors = $dom->getElementsByTagName('a');
foreach ($anchors as $element) {
    $href = $element->getAttribute('href');
    if (0 !== strpos($href, 'http')) {
        $path = '/' . ltrim($href, '/');
        if (extension_loaded('http')) {
            $href = http_build_url($url, array('path' => $path));
        } else {
            $parts = parse_url($url);
            $href = $parts['scheme'] . '://';
            if (isset($parts['user']) && isset($parts['pass'])) {
                $href .= $parts['user'] . ':' . $parts['pass'] . '@';
            }
            $href .= $parts['host'];
            if (isset($parts['port'])) {
                $href .= ':' . $parts['port'];
            }
            $href .= dirname($parts['path'], 1).$path;
        }
    }
    crawl_page($href, $depth - 1);
}
     echo "URL:".$url."<br />";
}
       crawl_page("http://www.pizza.com/", 2);
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...