Загружайте только обновленные файлы в хранилище BLOB-объектов

Question

У меня есть метод, который загружает файлы XML из папки в хранилище BLOB-объектов.Подключенный к этому хранилищу BLOB-объектов, у меня есть триггер Blob, который прослушивает изменения в хранилище BLOB-объектов, принимает файлы и затем выполняет запрос PUT к серверу.Я разобрался с этим и работал.

Моя проблема в том, что когда я хочу обновить определенный файл в папке и запустить свой код, кажется, что все файлы в папке снова загружаются, и мой Blob Trigger отключается, делая PUT для всехфайлы.Я хочу сделать PUT только для файлов, которые изменились в этой папке (за исключением, конечно, моей первоначальной загрузки в BLOB-объект).

Код, который у меня есть, настолько же базов, насколько и мой уровень опыта.Для импорта я следовал простому руководству.

Мой код, который загружает файл в хранилище BLOB-объектов:

class Program
{
    static void Main(string[] args)
    {
        Console.WriteLine("Starting...");
        string accountName = ConfigurationManager.AppSettings["accountName"];
        string accountKey = ConfigurationManager.AppSettings["accountKey"];
        string localFolder = ConfigurationManager.AppSettings["mySourceFolder"];
        string destContainer = ConfigurationManager.AppSettings["destContainer"];

        var stringReturned = BlobSetup(accountName, accountKey, localFolder, destContainer);

        Console.WriteLine(stringReturned);
        Console.Read();

    }
    static async Task UploadBlob(CloudBlobContainer container, string key, string filePath, bool deleteAfter)
    {
        //Get a blob reference to write this file to
        var blob = container.GetBlockBlobReference(key);

        await blob.UploadFromFileAsync(filePath);           

        Console.WriteLine("Uploaded {0}", filePath);
        //if delete of file is requested, do that
        if (deleteAfter)
        {
            File.Delete(filePath);
        }
    }
    static async Task<string> BlobSetup(string accountName, string accountKey, string localFolder, string destContainer)
     {
        var storageAccount = new CloudStorageAccount(new StorageCredentials(accountName, accountKey), true);
        var blobClient = storageAccount.CreateCloudBlobClient();

        var container = blobClient.GetContainerReference(destContainer);
        //create container if not exists
        await container.CreateIfNotExistsAsync();
        await container.SetPermissionsAsync(new BlobContainerPermissions()
        {
            PublicAccess = BlobContainerPublicAccessType.Blob
        });


        string[] fileEntries = Directory.GetFiles(localFolder);        
        foreach (string filePath in fileEntries)
        {
            //Handle only json and xml? 
            if(filePath.EndsWith(".json") || filePath.EndsWith(".xml"))
            {                  
                string keys = Path.GetFileName(filePath);

                await UploadBlob(container, keys, filePath, false);
            }

        }
        return "some response";
    }

Мой триггер Blob, который выполняет PUT:

 public static class BlobTriggerExample
{
    const string serverUrl= "theurl";
    static HttpClient client = new HttpClient();

    [FunctionName("BlobTriggerExample")]
    public static async Task Run([BlobTrigger("myblob/{name}", Connection = "AzureWebJobsStorage")]CloudBlockBlob myBlob, string name, TraceWriter log)
    {          
        string putUrlString = "";
        string idValue = "";
        XDocument xdoc = new XDocument();
        myBlob.StreamMinimumReadSizeInBytes = 20 * 1024 * 1024;
        await myBlob.FetchAttributesAsync();
        //Read stream
        var blobStream = await myBlob.OpenReadAsync();

            xdoc = new XDocument(XDocument.Load(blobStream));

        //Read root node(resourceType)
        string resourceType = xdoc.Root.Name.LocalName;

        //Get id value
        idValue = xdoc.Descendants().Where(x => x.Name.LocalName == "id").First().LastAttribute.Value;

        //Build redirect string
        putUrlString = serverUrl + resourceType + "/" + idValue;

        //PUT
        var httpContent = new StringContent(xdoc.ToString(), Encoding.UTF8, "application/xml");
        var response = await client.PutAsync(putUrlString, httpContent);    

        Console.WriteLine($"Response: {response}");
        Console.Read();

        log.Info($"C# Blob trigger function Processed blob\n Name:{name} \n Size: {myBlob.StreamWriteSizeInBytes} Bytes : Response message: {response}");
    }
}

Я предполагаю, что я хочу иметь возможность контролировать, какие файлы я загружаю в хранилище BLOB-объектов, выполняя какую-то проверку, существует ли точно такой же файл.Или, может быть, я хочу сделать какую-то проверку в Blob Trigger перед выполнением PUT?

Имена файлов в папке, из которой я загружаю, всегда одинаковы (обязательно), хотя некоторые, если содержимоевозможно, изменился.

Есть ли кто-нибудь, кто мог бы так любезно дать мне несколько советов о том, как я мог бы подойти к этому?Я часами гуглял и ничего не получалось.

Answer 1

Да, ваш код перебирает и загружает все файлы в вашу локальную папку.Триггер большого двоичного объекта просто видит, что большие двоичные объекты были написаны, и не имеет понятия о том, изменилось ли их содержимое (или имеет ли это значение), поэтому он также обрабатывает их все.

Что вам нужно сделать, так этосравните ваши локальные файлы с файлами в хранилище BLOB-объектов перед загрузкой, чтобы увидеть, являются ли они новыми версиями или нет, поэтому в вашем методе UploadBlob вы хотите что-то вроде

// Get a blob reference to write this file to
var blob = container.GetBlockBlobReference(key);
// If the blob already exists
if (await blob.ExistsAsync()) {
    // Fetch the blob's properties
    await blob.FetchAttributesAsync();
    // Only proceed if modification time of local file is newer
    if (blob.Properties.LastModified > File.GetLastWriteTimeUtc(filePath))
        return;
}

Если вы проверяетеВремя модификации не достаточно, тогда вы также можете прикрепить свои собственные метаданные (например, контрольную сумму) к BLOB-объектам и использовать их для сравнения - см. https://docs.microsoft.com/en-us/azure/storage/blobs/storage-properties-metadata.