Создайте файл robots.txt и поместите его в корневую папку вашего веб-приложения. Файлы не сканируются, но вы можете связать их с обычным тегом. Нет необходимости в обработке на стороне сервера:
# robots.txt
Disallow: /FolderWithFilesThatCannotCrawled/
Подробнее