индексируется, хотя заблокировано robots.txt laravel

Question

У меня есть несколько предупреждений URL в поисковой консоли Google.Проект сделан в laravel 5.5

indexed though blocked by robots.txt

В макете приложения заголовка у меня есть:

<meta name="Robots" content="index,follow" />

Одна из ошибок Ошибка сервера (5xx) для этого URL:

https://mydomain/remove-item-cart/26101

Я не хочу индексировать корзину удаления предметов, поэтому в robots.txt я заблокировал:

Disallow: /remove-item-cart/

Ошибка, вероятно, возникает из-за мета-индекса, но я не уверен.

remove-item-cart - это метод get в web.php

Route::get('/remove-item-cart/{id}', 'CartController@removeItem')->name('removeItemCart');

где происходит удаление предмета из корзины, после этого return redirect()->route('cart');

Как в laravel лучше всего использовать метод noindex для тех, кто получает ???Должен ли я удалить строку «Disallow» из роботов и в макетах заголовков блейдов установить «noindex» в мета-зависимости в зависимости от запроса URL?

Answer 1

Чтобы сэкономить здесь время и силы, если вы не знаете, как создать файл robots.txt самостоятельно, я бы порекомендовал такой пакет, как https://github.com/ellisio/laravel-5-robots.. Он имеет довольно элегантное решение для их программного создания..