Добавить больше данных в сериализованные BLOB-объекты

Question

Я пытаюсь периодически запрашивать данные о сотрудниках с конечной точки отдыха и сохранять их в моей базе данных SQL Server, используя операцию копирования ADF.Все данные о сотрудниках, которые запрашиваются в этот день, добавляются в голубой объект с именем файла, соответствующим этому дню.В моей функции Azure я сериализую свой объект, используя JsonConvert.SerializeObject(employee) и сохраняю его как fileName_currentDate.txt , после чего данные выглядят примерно так:

[
 {
  name: "abc",
  address: "pqr"
 },
 {
  name:"efg",
  address: "efg"
 }
]

Проблема : Я хочу добавить в список больше сотрудников с соответствующей датой.

Ограничение : я не хочу загружать существующий большой двоичный объект на сервер, используя что-то вроде blob.DownloadToStream(stream), десериализовать его, добавить дополнительные данные в мой объект и затем сохранитьэто обратно в контейнер BLOB-объектов.Это будет дорогостоящей операцией, когда количество раз, которое мне нужно добавить, будет большим, а также когда размер капли не помещается в памяти.

Какие у меня варианты здесь?

Понятночто есть поддержка Добавление хранилища BLOB-объектов , которое я планирую использовать в своем приложении, однако я не могу понять, как добавить дополнительные данные в мой BLOB-объект json.

Answer 1

Эта ссылка указывает, что вы можете настроить свойство LastModifiedDate в операции копирования для создания конвейера с возможностью поэтапного копирования нового и измененного файла.

Однако это действительно неуместно дляпостоянно добавляйте данные в один файл, что может привести к очень медленной загрузке и сложному просмотру данных.Исходя из ваших бизнес-требований, я бы посоветовал вам увеличивать данные в единицу времени (например, каждый день) и сохранять новые данные в отдельных файлах с именем отметки времени.

Если вы это сделаете, возможно, Думаю, Azure Stream Analytics является более подходящим выбором для вас.

ASA поддерживает Вход хранилища BLOB-объектов Azure и База данных SQL Azure в качестве вывода . Но он имеетниже содержит для ваших ссылок.

Stream Analytics не поддерживает добавление содержимого в существующий файл BLOB-объекта.Stream Analytics будет просматривать каждый файл только один раз, и любые изменения, которые происходят в файле после того, как задание прочитало данные, не обрабатываются.Рекомендуется загружать все данные для файла BLOB-объекта одновременно, а затем добавлять новые более новые события в другой новый файл BLOB-объекта.