Мой ответ зависит от того, можете ли вы получить список каталогов с веб-сервера. Если вы можете, вы можете сохранить этот HTML-список, извлечь ссылки, отфильтровать список ссылок по тем, которые соответствуют вашему критерию, а затем передать этот отфильтрованный список в curl или wget.
Если вы не можете получить список таким способом, вам нужно создать список другим способом, который, вероятно, будет ручным. (Я предполагаю, что единственный доступ, который вы имеете к этому серверу, осуществляется через http.)