Загрузка дерева каталогов с помощью ftplib - PullRequest
12 голосов
/ 09 апреля 2010

Это не приведет к загрузке содержимого подкаталогов; как я могу это сделать?

import ftplib
import configparser
import os

directories = []

def add_directory(line):
 if line.startswith('d'):
  bits = line.split()
  dirname = bits[8]
  directories.append(dirname)

def makeDir(archiveTo):
 for dir in directories:
  newDir = os.path.join(archiveTo, dir)
  if os.path.isdir(newDir) == True:
   print("Directory \"" + dir + "\" already exists!")
  else:
   os.mkdir(newDir)

def getFiles(archiveTo, ftp):
 files = ftp.nlst()
 for filename in files:
  try:
   directories.index(filename)
  except:
   ftp.retrbinary('RETR %s' % filename, open(os.path.join(archiveTo, filename), 'wb').write)

def runBackups():

 #Load INI
 filename = 'connections.ini'
 config = configparser.SafeConfigParser()
 config.read(filename)

 connections = config.sections()
 i = 0

 while i < len(connections):
  #Load Settings
  uri = config.get(connections[i], "uri")
  username = config.get(connections[i], "username")
  password = config.get(connections[i], "password")
  backupPath = config.get(connections[i], "backuppath")
  archiveTo = config.get(connections[i], "archiveto")

  #Start Back-ups
  ftp = ftplib.FTP(uri)
  ftp.login(username, password)
  ftp.cwd(backupPath)

  #Map Directory Tree
  ftp.retrlines('LIST', add_directory)

  #Make Directories Locally
  makeDir(archiveTo)

  #Gather Files
  getFiles(archiveTo, ftp)

  #End connection and increase counter.
  ftp.quit()
  i += 1

 print()
 print("Back-ups complete.")
 print()

Ответы [ 6 ]

14 голосов
/ 18 мая 2012

это должно сработать:)

import sys
import ftplib
import os
from ftplib import FTP
ftp=FTP("ftp address")
ftp.login("user","password")

def downloadFiles(path,destination):
#path & destination are str of the form "/dir/folder/something/"
#path should be the abs path to the root FOLDER of the file tree to download
    try:
        ftp.cwd(path)
        #clone path to destination
        os.chdir(destination)
        os.mkdir(destination[0:len(destination)-1]+path)
        print destination[0:len(destination)-1]+path+" built"
    except OSError:
        #folder already exists at destination
        pass
    except ftplib.error_perm:
        #invalid entry (ensure input form: "/dir/folder/something/")
        print "error: could not change to "+path
        sys.exit("ending session")

    #list children:
    filelist=ftp.nlst()

    for file in filelist:
        try:
            #this will check if file is folder:
            ftp.cwd(path+file+"/")
            #if so, explore it:
            downloadFiles(path+file+"/",destination)
        except ftplib.error_perm:
            #not a folder with accessible content
            #download & return
            os.chdir(destination[0:len(destination)-1]+path)
            #possibly need a permission exception catch:
            ftp.retrbinary("RETR "+file, open(os.path.join(destination,file),"wb").write)
            print file + " downloaded"
    return

source="/ftproot/folder_i_want/"
dest="/systemroot/where_i_want_it/"
downloadFiles(source,dest)
9 голосов
/ 21 апреля 2016

Это очень старый вопрос, но у меня была похожая потребность, которую я хотел удовлетворить в общих чертах. Я закончил тем, что написал свое собственное решение, которое очень хорошо работает для меня. Я поместил это в Gist здесь https://gist.github.com/Jwely/ad8eb800bacef9e34dd775f9b3aad987

и вставил его ниже на случай, если я когда-нибудь отключу суть.

Пример использования:

import ftplib
ftp = ftplib.FTP(mysite, username, password)
download_ftp_tree(ftp, remote_dir, local_dir)

Приведенный выше код будет искать каталог с именем «remote_dir» на хосте ftp, а затем дублировать каталог и все его содержимое в «local_dir». Это вызывает скрипт ниже.

import ftplib
import os

def _is_ftp_dir(ftp_handle, name, guess_by_extension=True):
    """ simply determines if an item listed on the ftp server is a valid directory or not """

    # if the name has a "." in the fourth to last position, its probably a file extension
    # this is MUCH faster than trying to set every file to a working directory, and will work 99% of time.
    if guess_by_extension is True:
        if name[-4] == '.':
            return False

    original_cwd = ftp_handle.pwd()     # remember the current working directory
    try:
        ftp_handle.cwd(name)            # try to set directory to new name
        ftp_handle.cwd(original_cwd)    # set it back to what it was
        return True
    except:
        return False


def _make_parent_dir(fpath):
    """ ensures the parent directory of a filepath exists """
    dirname = os.path.dirname(fpath)
    while not os.path.exists(dirname):
        try:
            os.mkdir(dirname)
            print("created {0}".format(dirname))
        except:
            _make_parent_dir(dirname)


def _download_ftp_file(ftp_handle, name, dest, overwrite):
    """ downloads a single file from an ftp server """
    _make_parent_dir(dest)
    if not os.path.exists(dest) or overwrite is True:
        with open(dest, 'wb') as f:
            ftp_handle.retrbinary("RETR {0}".format(name), f.write)
        print("downloaded: {0}".format(dest))
    else:
        print("already exists: {0}".format(dest))


def _mirror_ftp_dir(ftp_handle, name, overwrite, guess_by_extension):
    """ replicates a directory on an ftp server recursively """
    for item in ftp_handle.nlst(name):
        if _is_ftp_dir(ftp_handle, item):
            _mirror_ftp_dir(ftp_handle, item, overwrite, guess_by_extension)
        else:
            _download_ftp_file(ftp_handle, item, item, overwrite)


def download_ftp_tree(ftp_handle, path, destination, overwrite=False, guess_by_extension=True):
    """
    Downloads an entire directory tree from an ftp server to the local destination

    :param ftp_handle: an authenticated ftplib.FTP instance
    :param path: the folder on the ftp server to download
    :param destination: the local directory to store the copied folder
    :param overwrite: set to True to force re-download of all files, even if they appear to exist already
    :param guess_by_extension: It takes a while to explicitly check if every item is a directory or a file.
        if this flag is set to True, it will assume any file ending with a three character extension ".???" is
        a file and not a directory. Set to False if some folders may have a "." in their names -4th position.
    """
    os.chdir(destination)
    _mirror_ftp_dir(ftp_handle, path, overwrite, guess_by_extension)
6 голосов
/ 09 апреля 2010

это альтернатива. Вы можете попробовать использовать пакет ftputil . Затем вы можете использовать его для обхода удаленных каталогов и получения ваших файлов

3 голосов
/ 30 августа 2018

Использование ftp.mlsd () вместо ftp.nlst ():

import sys
import ftplib
import os
from ftplib import FTP


def fetchFiles(ftp, path, destination, overwrite=True):
    '''Fetch a whole folder from ftp. \n
    Parameters
    ----------
    ftp         : ftplib.FTP object
    path        : string ('/dir/folder/')
    destination : string ('D:/dir/folder/') folder where the files will be saved
    overwrite   : bool - Overwrite file if already exists.
    '''
    try:
        ftp.cwd(path)
        os.mkdir(destination[:-1] + path)
        print('New folder made: ' + destination[:-1] + path)
    except OSError:
        # folder already exists at the destination
        pass
    except ftplib.error_perm:
        # invalid entry (ensure input form: "/dir/folder/")
        print("error: could not change to " + path)
        sys.exit("ending session")

    # list children:
    filelist = [i for i in ftp.mlsd()]
    print('Current folder: ' + filelist.pop(0)[0])

    for file in filelist:
        if file[1]['type'] == 'file':
            fullpath = os.path.join(destination[:-1] + path, file[0])
            if (not overwrite and os.path.isfile(fullpath)):
                continue
            else:
                with open(fullpath, 'wb') as f:
                    ftp.retrbinary('RETR ' + file[0], f.write)
                print(file[0] + '  downloaded')
        elif file[1]['type'] == 'dir':
            fetchFiles(ftp, path + file[0] + '/', destination, overwrite)
        else:
            print('Unknown type: ' + file[1]['type'])


if __name__ == "__main__":

    ftp = FTP('ftp address')
    ftp.login('user', 'password')
    source = r'/Folder/'
    dest = r'D:/Data/'
    fetchFiles(ftp, source, dest, overwrite=True)
    ftp.quit()
3 голосов
/ 03 июня 2016

Используя ftputil, быстрое решение может быть:

def download(folder):
    for item in ftp.walk(folder):
        print("Creating dir " + item[0])
        os.mkdir(item[0])
        for subdir in item[1]:
            print("Subdirs " +  subdir)
        for file in item[2]:
            print(r"Copying File {0} \ {1}".format(item[0], file))
            ftp.download(ftp.path.join(item[0],file), os.path.join(item[0],file))
1 голос
/ 10 апреля 2010

Это нетривиально, по крайней мере. В простейшем случае вы предполагаете, что у вас есть файлы и каталоги. Это не всегда так, есть мягкие ссылки и жесткие ссылки и ярлык в стиле Windows. Softlink и ярлыки каталогов особенно проблематичны, так как они делают возможным рекурсивный каталог, что могло бы сбить с толку реализованный на практике фтб граббер.

Как бы вы справились с таким рекурсивным каталогом, зависит от ваших потребностей; Вы можете просто не переходить по программным ссылкам или пытаться обнаружить рекурсивные ссылки. Обнаружение рекурсивной ссылки сложно, вы не можете сделать это надежно.

...