Прочитав и прокомментировав этот вопрос Библиотека PHP для ведения индекса вашего сайта с помощью Google, Bing и т. Д. , мне было любопытно взглянуть на карту сайта StackOverFlow . Это вернуло ошибку 404, которую я предполагаю, что это просто защищенная страница, определив, являетесь ли вы индексным ботом или просто не существует.
Это заставило меня взглянуть на robots.txt для StackOverFlow. Я был удивлен, увидев комментарий «Yahoo bot is evil» вместе с парой других индексных ботов (Spinn3r и KSCrawler). Я не знаком со Spinn3r и KSCrawler, но мой вопрос: почему эти боты (в частности, Yahoo) считаются злом? Конечно, любая индексация любой поисковой системы - это хорошо?