Получение php сканера для пропуска указанных c URL - PullRequest
Новая
       91

Получение php сканера для пропуска указанных c URL

0 голосов
/ 06 мая 2020

У меня есть этот файл GenerateSitemap. php, в котором я могу настроить поискового робота, но я не понимаю, как заставить его пропускать некоторые определенные c URL-адреса, например (https://example.com/noindex-url ). Я прочитал это, но не могу понять. https://github.com/spatie/laravel-sitemap

namespace Example\Console\Commands;

use Illuminate\Console\Command;
use Spatie\Sitemap\SitemapGenerator;
use Spatie\Sitemap\Tags\Url;
use Spatie\Crawler\Crawler;

class GenerateSitemap extends Command
{
    /**
     * The console command name.
     *
     * @var string
     */
    protected $signature = 'sitemap:generate';

    /**
     * The console command description.
     *
     * @var string
     */
    protected $description = 'Generate the sitemap.';

    /**
     * Execute the console command.
     *
     * @return mixed
     */
    public function handle()
    {   
        $siteURL = 'https://example.com';
        SitemapGenerator::create($siteURL)
            ->configureCrawler(function (Crawler $crawler) {
                $crawler->ignoreRobots();
            })
            ->hasCrawled(function (Url $url) {
                if ((string)$url->path() === '/') {
                    return;
                }

                $this->output->writeln('Crawled: ' . (string)$url->path());

                return $url;
            })
            ->writeToFile(public_path('sitemap.xml'));

1 Ответ

0 голосов
/ 06 мая 2020 
if ((string)$url->path() === '/noindex-url') {
    return;
}

Вот и все!

Вот как это выглядит сейчас: 

namespace Example\Console\Commands;

use Illuminate\Console\Command;
use Spatie\Sitemap\SitemapGenerator;
use Spatie\Sitemap\Tags\Url;
use Spatie\Crawler\Crawler;

class GenerateSitemap extends Command
{
    /**
     * The console command name.
     *
     * @var string
     */
    protected $signature = 'sitemap:generate';

    /**
     * The console command description.
     *
     * @var string
     */
    protected $description = 'Generate the sitemap.';

    /**
     * Execute the console command.
     *
     * @return mixed
     */
    public function handle()
    {   
        $siteURL = 'https://example.com';
        SitemapGenerator::create($siteURL)
            ->configureCrawler(function (Crawler $crawler) {
                $crawler->ignoreRobots();
            })
            ->hasCrawled(function (Url $url) {
                if ((string)$url->path() === '/') {
                    return;
                }

                if ((string)$url->path() === '/noindex-url') {
                    return;
                }
                $this->output->writeln('Crawled: ' . (string)$url->path());

                return $url;
            })
            ->writeToFile(public_path('sitemap.xml'));
...