Я развернул довольно стандартное приложение Rails 5 с AWS EBS. Мой /robots.txt не подлежит...

Это один из моих динамических URL-адресов с веб-сайта.Я хотел бы запретить.Мне нужно понять, как...

Когда мы выполняем поиск по названию компании в Google, он показывает название нашего веб-сайта, но...

Итак, у меня есть эта текстовая область: <textarea id="input_txt"...

Как запрограммировать robot.txt, чтобы запретить доступ к папке A, но разрешить доступ к...

Что означают эти 3 строки в этом файле robots.txt (очевидно, я имею в виду *+*, *%2B* и *%2b*)?...

Я передаю изображения только на мой CDN. У меня есть файл robots.txt, настроенный в моем домене CDN...

Я пытаюсь очистить большой образец (100 000+) книг, доступных по адресу "https://www.goodreads

Я хочу обслуживать такие файлы, как robots.txt, humans.txt и manifest.json. Я видел документы, не...

Я пытаюсь разрешить роботу-роботу Googlebot индексировать мой сайт.Мой robots.txt изначально...

В приведенной ниже статье упоминается, что боты могут сканировать HTML-формы, читать javascript,...

Другая компания создала файл robots.txt для сайта, которым я управляю.Это код, который они...

Я бы хотел использовать инструмент аудита Chrome в моем приложении React, но он постоянно говорит,...

Как и в заголовке, каково максимальное значение, на которое может быть установлена ​​задержка...

Я всегда запрещал Google индексировать мой сайт с помощью файла robots.txt. Недавно я прочитал...

привет, я получаю эту ошибку. Googlebot не может получить все ресурсы для этой страницы. Вот список

На нашем сайте много доменных имен, таких как: example.co.uk example.in example.co.eg ... То есть в...

У меня есть сайт Symfony, и недавно инструменты Google для веб-мастеров сообщили, что он не может...

Согласно инструментам Google для веб-мастеров, у меня 145 заблокированных ресурсов. Это мой robots

У нас есть приложение для производственного маркетинга с такими маршрутами, как / tools /...

У меня очень странная проблема с robots.txt ... Я регулярно обновлял своих роботов в течение многих...

У меня есть SPA, построенный с использованием create-react-app, и я хочу иметь robots.txt,...

У меня проблема с моим сайтом в консоли Google Я получаю сообщение об ошибке ниже в консоли Google...

domain.com - живой сервер dev.domain.com - сервер разработки Оба с: /public/robots.txt #which is...

У меня есть статические ресурсы, обслуживаемые через корзину S3 за облачным фронтом. Я пытаюсь...