Я работаю с командой, у которой есть хранилище неструктурированных данных, которые они хранят на традиционном общем файловом ресурсе Windows (сетевой диск, диск z: / и т. Д.). Я предполагаю эффективно работать с этими данными в озере данных со скоростью, с которой команда нуждается, чтобы данные были скопированы в место хранения (в моем случае хранилище BLOB-объектов Azure), а затем была выполнена аналитика этих данных.
Независимо от технологии, есть ли у кого-нибудь опыт решения подобных задач? Если да, то вы просто попросили команду перенести их файлы, создать процедуру репликации или просто оставили эти «исходные» файлы на месте?
Примечание; в моем случае это, в основном, файлы Excel, но я должен представить, что шаблон дизайна будет сохраняться независимо от типа файла.