Автоматизация: данные Pu sh из локальных CSV в таблицы Kusto db

Question

У меня есть разные данные, загруженные с веб-страницы и сохраненные в виде файлов .csv в моем локальном каталоге. Я хотел бы записать эти данные в таблицы, которые я создал в Kusto Explorer, и в идеале хочу, чтобы этот процесс планировался каждый день автоматически, потому что эти данные с сайта обновляются ежедневно.

Например:

Здесь у меня есть 3 .csv файла:

1.csv
2.csv
3.csv

, и здесь у меня есть 3 таблицы, созданные на Kusto для хранения данных каждого csv соответственно:

Table_1
Table_2
Table_3

Вопрос в следующем: Можно ли автоматизировать и запланировать передачу / загрузку данных из локальных CSV-файлов в Kusto? На данный момент тип загрузки / загрузки данных Replace, но может потребоваться быть Append в будущем.

Мне порекомендовали Flow (https://preview.flow.microsoft.com/en-us/), чтобы проверить, не были ли уже установлены подобные шаблоны. Однако я не смог найти ни одного, и я новичок в этих инструментах, поэтому мне нужна помощь кого-то, кто знает об этом. Большое спасибо заранее. Пожалуйста, дайте мне знать, если вам нужна дополнительная информация.

Answer 1

, если вы хотите контролировать расписание:

• , вы можете использовать любую клиентскую библиотеку для загрузки: https://docs.microsoft.com/en-us/azure/kusto/api/

• или, если вы предпочитаете просто вызывать готовую утилиту, есть также LightIngest и Kusto Ingestion Tools (KIT)

альтернативный подход:

1. иметь файлы CSV, которые вы генерируете, загруженные в облачное хранилище после их создания.

2. настройте подключение к данным для контейнера хранения, в который они загружены, чтобы любой загружаемый в него файл автоматически попадал в ваш кластер: https://docs.microsoft.com/en-us/azure/data-explorer/ingest-data-event-grid