Рекурсивная директория поиска файлов заменяет строку с помощью модуля fileInput.Как?

Question

Я создаю простой скрипт на python для поиска и замены строк внутри файлов, которые также находятся внутри подпапок и так далее.Это требует рекурсии.

Следующий скрипт находит и заменяет строку для другой строки, найденной в каждом файле внутри каждой папки целевой родительской папки.

Я нашел этот пост здесьпредлагая использовать модуль fileinput, чтобы избежать считывания целых файлов в память, что может замедлить процесс ...

... упростить замену текста в файле без необходимости читать весь текст целикомфайл в памяти ...

Кредиты @ jfs

Python очень динамичен и, честно говоря, я заблудился от множества различных способов выполнить одну и ту же задачу.

Как я могу интегрировать этот подход в мой сценарий ниже?

import subprocess, os, fnmatch

if os.name == 'nt':
    def clear_console():
        subprocess.call("cls", shell=True)
        return
else:
    def clear_console():
        subprocess.call("clear", shell=True)
        return

# Globals
menuChoice = 0
searchCounter = 0

# Recursive find/replace with file extension argument.
def findReplace(directory, find, replace, fileExtension):

    global searchCounter

    #For all paths, sub-directories & files in (directory)...
    for path, dirs, files in os.walk(os.path.abspath(directory)):
        #For each file found with (FileExtension)...
        for filename in fnmatch.filter(files, fileExtension):
            #Construct the target file path...
            filepath = os.path.join(path, filename)
            #Open file correspondent to target filepath.
            with open(filepath) as f:
                # Read it into memory.
                s = f.read()
            # Find and replace all occurrances of (find).
            s = s.replace(find, replace)
            # Write these new changes to the target file path.
            with open(filepath, "w") as f:
                f.write(s)
                # increment search counter by one.
                searchCounter += 1

    # Report final status.
    print ('  Files Searched: ' + str(searchCounter))
    print ('')
    print ('  Search Status : Complete')
    print ('')
    input ('  Press any key to exit...')

def mainMenu():
    global menuChoice
    global searchCounter

    # range lowest index is 1 so range of 6 is 1 through 7.
    while int(menuChoice) not in range(1,1):

        clear_console()
        print ('')
        print ('  frx v1.0 - Menu')
        print ('')
        print ('  A. Select target file type extension.')
        print ('  B. Enter target directory name. eg -> target_directory/target_subfolder')
        print ('  C. Enter string to Find.')
        print ('  D. Enter string to Replace.')
        print ('')
        print ('  Menu')
        print ('')

        menuChoice = input('''
      1. All TXT  files. (*.txt )

      Enter Option: ''')
        print ('')

        # Format as int
        menuChoice = int(menuChoice)

        if menuChoice == 1:

            fextension = '*.txt'

            # Set directory name
            tdirectory = input('  Target directory name? ')
            tdirectory = str(tdirectory)
            print ('')

            # Set string to Find
            fstring = input('  String to find? (Ctrl + V) ')
            fstring = str(fstring)
            print ('')

            # Set string to Replace With
            rstring = input('  Replace with string? (Ctrl + V) ')
            rstring = str(rstring)
            print ('')

            # Report initial status
            print ('  Searching for occurrences of ' + fstring)
            print ('  Please wait...')
            print ('')

            # Call findReplace function
            findReplace('./' + tdirectory, fstring, rstring, fextension)

# Initialize program
mainMenu()

# Action Sample...
#findReplace("in this dir", "find string 1", "replace with string 2", "of this file extension")

# Confirm.
#print("done.")

Answer 1

Полагаю, вы также можете проверить библиотеку glob.Это поможет вам пройти через каталоги и подкаталоги, а также вы сможете обновить имя файла.Ниже я нашел ссылку из переполнения стека, относящуюся к вашему вопросу:

Как мне искать подпапки с помощью модуля glob.glob в Python?

Answer 2

Ваша проверка того, что входные данные являются файлами .txt, хороша;это избавляет вас от необходимости беспокоиться о передаче 'rb' или 'wb' на open().

Вы говорите, что не хотите выделять N байтов для N-байтового файла, опасаясь, что иногда Nможет быть довольно большим.Лучше ограничить выделение памяти размером самой длинной текстовой строки, а не размером самого большого файла.Давайте разберем вспомогательную функцию.Удалите / замените эти строки:

            #Open file correspondent to target filepath.
            with open(filepath) as f:
                # Read it into memory.
                s = f.read()
            # Find and replace all occurrances of (find).
            s = s.replace(find, replace)
            # Write these new changes to the target file path.
            with open(filepath, "w") as f:
                f.write(s)
                # increment search counter by one.
                searchCounter += 1

вызовом вспомогательной функции и затем увеличением счетчика:

            update(filepath, find, replace)
            searchCounter += 1

, а затем определите помощника:

def update(filepath, find, replace, temp_fspec='temp'):
    assert temp_fspec != filepath, filepath
    with open(filepath) as fin:
        with open(temp_fspec) as fout:
            for line in fin:
                fout.write(line.replace(find, replace))
    os.rename(temp_fspec, filepath)  # overwrites filepath

Использование fileinput не имеет значения, так как это объединит строки из многих входов в один выходной поток, и вам необходимо связать каждый выход с его собственным входом.Здесь важна идиома for line in, и она работает в fileinput так же, как и в предложенном update() помощнике.

Подумайте о том, чтобы добавить в temp_fspec необычные символы, чтобы уменьшить вероятность столкновения или, возможно, сделатьэто полный путь в той же файловой системе, но над уязвимым поддеревом, поэтому гарантированно никогда не будет конфликтовать.

Эта версия обычно запускается немного дольше, особенно для длинных файлов с короткими строками.Максимальный объем памяти для этой версии должен быть намного меньше, если максимальный размер файла >> максимальная длина строки.Если речь идет о очень длинных строках, то подход бинарного разбиения будет более уместным, если учитывать случай, когда find может охватывать границу фрагмента.Нам не нужно обрабатывать этот случай в текущем коде, если мы предполагаем, что find не содержит '\n' новых строк.

Мы можем упростить две версии вашей процедуры очистки экрана до одной, сформулировав ее таким образом:

def clear_console():
    clear = 'cls' if os.name == 'nt' else 'clear'
    subprocess.call(clear, shell=True)
    return