Вот пример URL сайта со списком папок; Мне нужно, чтобы эти имена папок хранились с использованием сценария shell / bash
С GNU grep:
curl <url> | grep -oP '<a href=".+?">\K.+?(?=<)'
Mac:
curl <url> | perl -nle 'print $& while m{<a href=".+?">\K.+?(?=<)}g'
Может потребоваться некоторая настройка для вашего конкретного сайта.