Поскольку вы упоминаете файл .htaccess, я предполагаю, что вы используете протокол http, по которому вы не можете получить списки файлов, только если их обслуживает веб-сервер (то есть установлено «Опции + индексы»). ). Если сервер обслуживает списки файлов, вы можете получить список с чем-то вроде:
wget http://username:password@example.com/path/to/directory/
Вам придется заменить wget на программу по вашему выбору.