Хотя выявление дубликатов в вашем тексте довольно просто для человека, для регулярных выражений это довольно трудная задача (тем более что текст, по-видимому, может быть чем угодно, и в нем нет фиксированного количества строк, составляющих группу).
Рассмотрим:
mkdir /breeds
cd /breeds
mput C:\Inetpub\wwwroot\site.co.za/admin/buckets\application\sites\site_-_org/breeds/*.*
и
mkdir /breeds
cd /breeds
mput C:\Inetpub\wwwroot\site.co.za/admin/buckets\application\sites\site_-_org/*.*
Создает ли это дубликат? Являются ли первые две строки каждой копии дубликатами или должна соответствовать вся группа (но в таком случае как определяется группа?).
Вы не найдете здесь ни одного регулярного выражения, которое будет делать то, что вы хотите. Вам нужно найти способ на самом деле проанализировать ваш вклад на основе ряда правил, которые вы предоставляете.
Например, вы можете разбить свой ввод на строки массива, а затем двукратно пройти по этому массиву, ища группы эквивалентных строк (но даже тогда вам нужно будет определить некоторые правила, например, какое минимальное число строк Форма группы есть).