Согласно https://stackoverflow.com/robots.txt, Карта сайта StackOverflow должна быть расположена по адресу https://stackoverflow.com/sitemap.xml. Однако, когда я посещаю этот URL, я получаю сообщение об ошибке «Страница не найдена».
Я предполагаю, что SO блокирует доступ к этому файлу не пользователям Google. Как они это делают и можно ли обойти?