Я настраиваю карту сайта для своего сайта, и я создал конечную точку, которая генерирует карту сайта для нее.
Если я добавлю URL для своего API на robots.txt, могут ли роботы-сканеры получить к нему доступ и получить карту сайта или они не отправят запрос API?