Сделайте резервную копию дерева папок, но распечатайте каждый файл отдельно - PullRequest
Новая
       32

Сделайте резервную копию дерева папок, но распечатайте каждый файл отдельно

0 голосов
/ 14 декабря 2018

Я создаю скрипт для резервного копирования всей программы с несколькими папками, базами данных и сотнями папок и файлов.Для этого я использую этот код, и он прекрасно работает (слегка отредактирован для SO). 

import tarfile
import datetime
PATH_PROGRAM = os.getcwd()

# Part 1: Get list of files
files_to_save = []
for file_name in listdir(PATH_PROGRAM):
    if not file_name == "Backups Folder": # Exclude the folder where we store them
        files_to_save.append(file_name)

# Part 2: Get name for new backup file
date_now = str(datetime.datetime.now())[:10]
backupfile = "{0}\\Backups Folder\\{1}.tar.gz".format(PATH_PROGRAM, date_now)

# Part 3: Add all files to new backup
with tarfile.open(backupfile, "w:gz") as tar:
    for file in files_to_save:
        print("Saving: {0}".format(file))
        tar.add("{0}\\{1}".format(PATH_PROGRAM, file))

Проблема:
С этим кодом мои отпечатки просто показывают мне базовую папкувместо каждого файла, например: 

Saving: File1.txt
Saving: File2.mp3
Saving: Folder_sounds
Saving: something.json

Давайте представим, что folder_sounds - это папка с тысячами файлов.Сценарий займет много времени (замораживание моего графического интерфейса) при добавлении файлов этой папки в файл tar, но я не знаю, как это происходит, потому что в распечатке не отображаются все файлы по отдельности.В этом проблема.

То, что я пытался:

Я пытался получить полный путь к каждому файлу в части 1 моего кода, однако это добавило бы файлы вtarfile без создания папок внутри tarfile или добавления файлов в соответствующую папку.Это был беспорядок, потому что все файлы были в одном месте.

Желаемое решение:

1: Напечатайте каждое имя файла по мере его добавления в файл.
2: Сохраните все файлы в файле без прерываниядерево папок, к которому относится каждый файл.

1 Ответ

0 голосов
/ 15 декабря 2018

Отвечая на мой вопрос, пока не будет предоставлен лучший ответ: 

# Part 1 became a function
def get_all_files_for_backup(self):
    """Returns a Dict"""
    dict_of_diles = {}
    for dirpath, _, filenames in os.walk(PATH_PROGRAM):
        if not "Backups Folder" in dirpath:  # Exclude this folder
            for filename in filenames:
                if dirpath in dict_of_diles:
                    # If folder exists, append this file to it
                    dict_of_diles[dirpath].append(filename)
                else:
                    # Create a new item in the dict for this folder
                    dict_of_diles[dirpath] = [filename]
    return dict_of_diles

files_to_save = self.get_all_files_for_backup()

# Part 3: We create the tree structure in the tarfile before adding files to it
with tarfile.open(backupfile, "w:gz") as tar:
    for folder, files in files_to_save.items():
        # Create the right tree folders inside the tar file
        relative_folder = folder.replace(PATH_PROGRAM, "")
        if relative_folder.startswith("\\"):
            relative_folder = relative_folder[1:]
            tarfolder = tarfile.TarInfo(relative_folder)
            tarfolder.type = tarfile.DIRTYPE
            tar.addfile(tarfolder)
        # Add the files
        for file in files:
            full_path = os.path.join(folder, file)
            print(full_path)
            # Don't add an arcname if relative folder is none
            if relative_folder == "":
                tar.add(full_path, arcname=file)
            else:
                # Args for tar.add are: Copy from absolute path, Copy to that tar folder.
                tar.add(full_path, arcname="{0}\\{1}".format(relative_folder, file))
...