Существует ли шаблон проектирования для восстановления рекурсивного поиска файлов в C # / F #? - PullRequest
Новая
       39

Существует ли шаблон проектирования для восстановления рекурсивного поиска файлов в C # / F #?

0 голосов
/ 16 апреля 2020

Предполагая, что у меня есть длительный поиск файлов, который в основном является просто рекурсивной функцией, как показано ниже (файлы 1M-100M). Если мой процесс будет остановлен во время сканирования файлов или остановлен по какой-либо причине, есть ли лучший способ реализовать «постоянное хранилище состояний» или «ContinueOnFailure» -функцию?

Или я полностью на неправильном пути, и что-то подобное даже не требуется или нуждается в совершенно ином подходе?

Требуется какой-либо совет, также не связанный с конкретным c языком программирования (реализация будет в C # / F #, если возможно), и, пожалуйста, извините, возможно, здесь используются неверные термины.

Дальнейшие предположения и мысли. Дубликаты или несколько отсутствующих файлов не являются проблемой. Дубликаты могут быть отфильтрованы, и можно ожидать, что отсутствующие / неактуальные файлы ожидаются, так как операция происходит в живой системе. Для подхода в оперативной памяти я мог бы придумать словарь, который отслеживает заполненные папки «наименьшей глубины».

Или разбить задачу, повторяя до достижения определенного порога подмножеств, а затем отслеживая каждое подмножество в базе данных?

Также взглянул на this . Это кажется непрактичным для больших сетевых дисков + меня беспокоит порядок перечисления? 

let rec loop depth (someDir : DirectoryInfo) = 
    seq {
        yield! someDir.EnumerateFiles ()
        yield! 
            someDir.EnumerateDirectories () 
            |> Seq.collect (loop (depth + 1))
    }


let dir = DirectoryInfo "C:\\"
loop 0 dir

1 Ответ

0 голосов
/ 16 апреля 2020

Если у вас нет разрешений на ввод подкаталогов или разрешений на чтение свойств папки, вам нужно использовать рекурсивный метод для захвата исключений и продолжения. Смотрите код ниже: 

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Xml;
using System.Xml.Linq;
using System.IO;

namespace SAveDirectoriesXml
{
    class Program
    {
        const string FILENAME = @"c:\temp\test.xml";
        const string FOLDER = @"c:\temp";
        static XmlWriter writer = null;
        static void Main(string[] args)
        {
            XmlWriterSettings settings = new XmlWriterSettings();
            settings.Indent = true;

            writer = XmlWriter.Create(FILENAME, settings);
            writer.WriteStartDocument(true);

            DirectoryInfo info = new DirectoryInfo(FOLDER);
            WriteTree(info);

            writer.WriteEndDocument();
            writer.Flush();
            writer.Close();
            Console.WriteLine("Enter Return");
            Console.ReadLine();

        }
        static long WriteTree(DirectoryInfo info)
        {
            long size = 0;
            writer.WriteStartElement("Folder");
            try
            {
                writer.WriteAttributeString("name", info.Name);
                writer.WriteAttributeString("numberSubFolders", info.GetDirectories().Count().ToString());
                writer.WriteAttributeString("numberFiles", info.GetFiles().Count().ToString());
                writer.WriteAttributeString("date", info.LastWriteTime.ToString());


                foreach (DirectoryInfo childInfo in info.GetDirectories())
                {
                    size += WriteTree(childInfo);
                }

            }
            catch (Exception ex)
            {
                string errorMsg = string.Format("Exception Folder : {0}, Error : {1}", info.FullName, ex.Message);
                Console.WriteLine(errorMsg);
                writer.WriteElementString("Error", errorMsg);
            }

            FileInfo[] fileInfo = null;
            try
            {
                fileInfo = info.GetFiles();
            }
            catch (Exception ex)
            {
                string errorMsg = string.Format("Exception FileInfo : {0}, Error : {1}", info.FullName, ex.Message);
                Console.WriteLine(errorMsg);
                writer.WriteElementString("Error",errorMsg);
            }

            if (fileInfo != null)
            {
                foreach (FileInfo finfo in fileInfo)
                {
                    try
                    {
                        writer.WriteStartElement("File");
                        writer.WriteAttributeString("name", finfo.Name);
                        writer.WriteAttributeString("size", finfo.Length.ToString());
                        writer.WriteAttributeString("date", info.LastWriteTime.ToString());
                        writer.WriteEndElement();
                        size += finfo.Length;
                    }
                    catch (Exception ex)
                    {
                        string errorMsg = string.Format("Exception File : {0}, Error : {1}", finfo.FullName, ex.Message);
                        Console.WriteLine(errorMsg);
                        writer.WriteElementString("Error", errorMsg);
                    }
                }
            }

            writer.WriteElementString("size", size.ToString());
            writer.WriteEndElement();
            return size;

        }
    }
}
...