PrestaShop robots.txt и / module / path индексация

Question

друзей. У меня есть вопрос, касающийся готового файла PrestaShop robots.txt.

Это нормальная практика, позволяющая поисковым системам индексировать маршрут PrestaShop */module/*?

Может кто-нибудь прокомментировать: А) Работает ли как положено? [*/module/* индексация необходима для хорошего SEO] , или Б) это проблема - нарушение безопасности, поскольку поисковая система индексирует внутреннюю техническую структуру PrestaShop и предоставляет ее остальному миру?

Спасибо.

Answer 1

Некоторые модули используют маршрут "/ module /" для своих первых страниц. Поэтому рекомендуется разрешить это в файле robots.txt

Но я не рекомендую разрешать использование "/ modules /" маршрут, поскольку это может вызвать проблемы с безопасностью для вас

Answer 2

Для SEO вам нужно показывать только сканерам те страницы, которые вы считаете полезными для пользователей, и вы хотите, чтобы пользователь нашел этот контент.

Это означает, что если под / module / у вас есть страницы с контентом, который пользователь хочет видеть в поисковой системе - вы можете открыть его в роботах и ​​убедиться, что в нем нет тега noindex. страницы HTML.

Также обратите внимание, что если вы запретите / module / , но у вас есть внешние ссылки на страницы в / module / , эти страницы могут быть проиндексированы сканером, несмотря на из-за того, что вы закрыли эти страницы в роботах.