Помимо файла robots.txt, который невежливые сканеры, вероятно, в любом случае проигнорируют, вы можете предоставить файл sitemap.xml для отображения всех ваших страниц.Сканеры пойдут на это, вместо того чтобы использовать функцию поиска на вашем сайте, что уменьшит нагрузку.Это также способ избежать нескольких запросов на один и тот же контент, когда URL-адреса различаются только по нескольким параметрам.
Если вы не можете избежать их, сделайте их работу проще, чтобы они не доставляли неудобств.