Я новичок в Azure Data Lake и больших данных в целом, и я прошу прощения, если мой вопрос кажется глупым.
Я изучал ADL и ADLA, чтобы разработать хранилище данных холодного тракта. У меня есть запрос Azure Stream Analytics, который выводит в Power Bi для визуализации в реальном времени, и другой запрос, который хранит данные в формате .CSV в озере данных.
Я создал проект VS, в котором я создал базу данных, схему и таблицы, соответствующие файлам csv, и один скрипт извлекает данные из файла CSV и копирует их в таблицу, чтобы придать моим данным некоторую структуру.
Мой вопрос заключается в том, что если данные продолжают храниться в файлах csv, где структура папок определяет, когда поступили данные, как мне обновить свои таблицы новыми данными. Должен ли я бросить стол и начать все сначала, я не верю, что это жизнеспособное решение?
У меня есть сценарии, которые я должен запустить для создания БД, схемы, извлечения данных и заполнения таблиц. Конечно, я не могу запустить все сценарии, когда поступают новые данные.
Примечание. Я хочу отметить, что базы данных и таблицы находятся в базах данных ADLA U-SQL.