Унифицированное дерево каталогов для локальных файлов, ftp, http в python - PullRequest
0 голосов
/ 24 февраля 2012

В моей программе testkernel я бы хотел обходить деревья каталогов по различным протоколам.Я думаю, что мне нужно что-то вроде os.walk, но оно работает для ftp, а также для типичных списков каталогов http (например, http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.2-precise/). Это в духе openanything.py

Для обхода FTP я нашел несколько вариантов, в том числе ftptool и модуль ftputil , который имеет преимущество в Ubuntu. Я уже реализовал свой собственный очень простой рекурсивходить по спискам каталогов http, используя Beautiful Soup . Но прежде чем я объединю их вместе с os.walk, мне интересно, если это уже сделано.

Я знаю, что семантика прогулки по httpне очень четко определены, как для файловых систем и ftp, поэтому я думаю, мне придется угадать, что каталоги обозначены URL-адресом с косой чертой, которая расширяет URL-адрес каталога.избегайте бесконечных прогулок. Но даже для подмножества os.walk (например, только сверху вниз) этот вид кажется полезным.

Было ли это сделано? Любой совет?

1 Ответ

0 голосов
/ 21 апреля 2012

Ну, я написал фрагмент кода, который фактически просматривает веб-каталоги и загружает файлы: (хотя этот фрагмент кода может нуждаться в улучшении, например загрузка изображений, загрузка PDF и т. д.), но в любом случае вот источник / модуль:

Рекурсивная загрузка файлов и каталогов из удаленного источника

...