Я пытаюсь почистить некоторые продукты с amazon.com, но я не могу найти его в его файле robots.txt
Я пробовал
amazon.com/sitemap.xml
amazon.com/sitemap.xml.gz
amazon.com/sitemap1.xml.gz
amazon.com/sitemap1.xml
все ничего не появляется
Я также пробовал детектор карты сайта, например
https://seositecheckup.com/tools/sitemap-test
В результате у Amazon нет карты сайта.Это правда?или у меня не было правильного подхода.