У меня есть веб-сайт, в котором есть каталог, содержащий более 100 HTML-файлов.Я хочу, чтобы сканеры сканировали все html-файлы в этом каталоге.Я уже добавил следующее предложение в мой файл robots.txt:
Allow /DirName/*.html$
Есть ли способ включить файлы в каталог в файл sitemap.xml, чтобы все html-файлы в каталоге сканировались?Как то так:
<url>
<loc>MyWebsiteName/DirName/*.html</loc>
</url>