Найти файл в Python

Question

У меня есть файл, который может находиться в другом месте на компьютере каждого пользователя. Есть ли способ осуществить поиск по файлу? Можно ли передать имя файла и дерево каталогов для поиска?

Answer 1

os.walk - это ответ, он найдет первое совпадение:

import os

def find(name, path):
    for root, dirs, files in os.walk(path):
        if name in files:
            return os.path.join(root, name)

И это найдет все совпадения:

def find_all(name, path):
    result = []
    for root, dirs, files in os.walk(path):
        if name in files:
            result.append(os.path.join(root, name))
    return result

И этобудет соответствовать шаблону:

import os, fnmatch
def find(pattern, path):
    result = []
    for root, dirs, files in os.walk(path):
        for name in files:
            if fnmatch.fnmatch(name, pattern):
                result.append(os.path.join(root, name))
    return result

find('*.txt', '/path/to/dir')

Answer 2

Я использовал версию os.walk, и в более крупном каталоге время получалось около 3,5 сек. Я попробовал два случайных решения без каких-либо значительных улучшений, затем просто сделал:

paths = [line[2:] for line in subprocess.check_output("find . -iname '*.txt'", shell=True).splitlines()]

Пока это только POSIX, у меня есть 0,25 сек.

Исходя из этого, я полагаю, что вполне возможно оптимизировать весь поиск, независимо от платформы, но на этом я остановил исследование.

Answer 3

Если вы работаете с Python 2, у вас есть проблема с бесконечной рекурсией в окнах, вызванная символическими ссылками.

Этот скрипт не будет следовать за ними. Обратите внимание, что это для Windows !

import os
from scandir import scandir
import ctypes

def is_sym_link(path):
    # http://stackoverflow.com/a/35915819
    FILE_ATTRIBUTE_REPARSE_POINT = 0x0400
    return os.path.isdir(path) and (ctypes.windll.kernel32.GetFileAttributesW(unicode(path)) & FILE_ATTRIBUTE_REPARSE_POINT)

def find(base, filenames):
    hits = []

    def find_in_dir_subdir(direc):
        content = scandir(direc)
        for entry in content:
            if entry.name in filenames:
                hits.append(os.path.join(direc, entry.name))

            elif entry.is_dir() and not is_sym_link(os.path.join(direc, entry.name)):
                try:
                    find_in_dir_subdir(os.path.join(direc, entry.name))
                except UnicodeDecodeError:
                    print "Could not resolve " + os.path.join(direc, entry.name)
                    continue

    if not os.path.exists(base):
        return
    else:
        find_in_dir_subdir(base)

    return hits

Возвращает список со всеми путями, которые указывают на файлы в списке имен файлов. Использование:

find("C:\\", ["file1.abc", "file2.abc", "file3.abc", "file4.abc", "file5.abc"])

Answer 4

Если вы используете Python в Ubuntu и хотите, чтобы он работал только в Ubuntu, значительно более быстрым способом является использование locate программы терминала, подобной этой.

import subprocess

def find_files(file_name):
    command = ['locate', file_name]

    output = subprocess.Popen(command, stdout=subprocess.PIPE).communicate()[0]
    output = output.decode()

    search_results = output.split('\n')

    return search_results

search_results - это list абсолютных путей к файлам. Это в 10 000 раз быстрее, чем описанные выше, и для одного поиска, который я сделал, это было в ~ 72 000 раз быстрее.

Answer 5

Для быстрого поиска, независимого от ОС, используйте scandir

https://github.com/benhoyt/scandir/#readme

Прочтите http://bugs.python.org/issue11406, чтобы узнать, почему.

Answer 6

В Python 3.4 или новее вы можете использовать pathlib для рекурсивного сглаживания:

>>> import pathlib
>>> sorted(pathlib.Path('.').glob('**/*.py'))
[PosixPath('build/lib/pathlib.py'),
 PosixPath('docs/conf.py'),
 PosixPath('pathlib.py'),
 PosixPath('setup.py'),
 PosixPath('test_pathlib.py')]

Ссылка: https://docs.python.org/3/library/pathlib.html#pathlib.Path.glob

В Python 3.5 или новее вы также можете сделать рекурсивное сглаживание следующим образом:

>>> import glob
>>> glob.glob('**/*.txt', recursive=True)
['2.txt', 'sub/3.txt']

Ссылка: https://docs.python.org/3/library/glob.html#glob.glob

Answer 7

Ниже мы используем логический «первый» аргумент для переключения между первым совпадением и всеми совпадениями (по умолчанию, что эквивалентно «find. -Name file»):

import  os

def find(root, file, first=False):
    for d, subD, f in os.walk(root):
        if file in f:
            print("{0} : {1}".format(file, d))
            if first == True:
                break 

Answer 8

См. модуль os для os.walk или os.listdir

См. Также этот вопрос os.walk без копания в каталогах ниже для примера кода