Цикл по каталогу в Интернете и отображение его содержимого (файлов и других каталогов) через Python

Question

В том же духе, что и Обработка набора файлов из исходного каталога в каталог назначения в Python Мне интересно, возможно ли создать функцию, которая при наличии веб-каталога будет выводить список из файлов в указанном каталоге. Что-то вроде ...

files[]

for file in urllib.listdir(dir):
    if file.isdir:
        # handle this as directory
    else:
        # handle as file

Полагаю, мне нужно будет использовать библиотеку urllib, но, похоже, не существует простого способа сделать это, по крайней мере, я видел.

Answer 1

Что такое веб-каталог?

На веб-странице есть ссылки. Страница со ссылками может создаваться или не создаваться веб-сервером на основании содержимого каталога.

Пример автоматического создания ссылок можно найти здесь и, возможно, является результатом чего-то вроде конфигурации mod_dir на веб-сервере Apache.

Что такое инструменты, как wget и curl, do, это взять страницу и загрузить все ссылки на этой странице, возможно, рекурсивно. Я думаю, что это лучшее, что вы можете достичь. И у меня такое чувство, что здесь, в SO, много вопросов о python + curl.

Answer 2

Вы можете запутаться в концепции. Каталог - это концепция файловой системы. URL не имеют понятия каталога. Это похоже на путь к файловой системе и часто отображается в каталог. Но нет никаких требований для его поддержки файловой системой.

Например, Обработка набора файлов из исходного каталога в каталог назначения в Python может отображаться в каталог

/ HTDOCS / вопросы / 2593399 /

Но, скорее всего, он генерируется из запроса к базе данных и не сопоставляется ни с чем в файловой системе.