На самом деле, я сталкивался с веб-сайтом Harvard Business Review , и он очень информативный, поэтому я хотел получить доступ к его карте сайта, чтобы получить статьи на определенные темы. Я проверил его файл robots.txt , и ему разрешено просматривать субдомен sitemaps.
Но когда я получаю доступ к этому поддомену через браузер, он дает мне AccessDenied примерно так:
На самом деле, я не понимаю, почему это? !! А как попасть на карту сайта сайта HBR !!