создание регулярных выражений для некоторых URL-адресов для моего robot.txt

Question

У меня есть пять шаблонов URL, для которых я хочу сделать регулярное выражение, чтобы я мог поместить его в свой robot.txt для noindexing.

для обеих этих страниц мне нужно два разных регулярных выражения Шаблоны URL похожи на: https: // example.com/[varying-data]-addiction-treatmnet https: // example.com/[varying-data]-addiction-treatmnet/thank-you

Answer 1

Поскольку у вас всегда один и тот же URL-адрес только с одной изменяющейся частью, вы можете использовать простое регулярное выражение, например

https:\/\/example.com\/.*-addiction-treatmnet

*

и * 1006

https:\/\/example.com\/.*-addiction-treatmnet/thank-you

или как список:

(https:\/\/example.com\/.*-addiction-treatmnet)|(https:\/\/example.com\/.*-addiction-treatmnet/thank-you)