Как запланировать перемещение данных между двумя таблицами в разных базах данных в одном кластере Kusto

Question

Существует ли какой-либо автоматический (запланированный) способ периодического перемещения данных между двумя таблицами, принадлежащими к разным базам данных в одном кластере Kusto?Функция «Непрерывный экспорт данных» не работает в разных базах данных.Можно каким-то образом организовать это через фабрику данных Azure, но это звучит как излишество.На уровне Кусто нет ничего для планирования такого перемещения данных?Непрерывный экспорт данных звучит очень идеально, если у него не было ограничений по работе с базами данных.

Answer 1

Строго говоря, в ADX таких возможностей нет.

Однако его легко настроить с помощью вашего любимого планировщика (например, Azure Schedular ) или просто с помощью Временные функции Azure .

Функции Azure в этом смысле проще, потому что они очень просты в настройке (и предоставляют доступ к ресурсам кластера ADX).

Как только вы это сделаете,Вы можете:

1. Использовать .set-or-append, как предложил Йони, вот так (из документов ):

.set-or-append async ArchiveTable <| 
   LiveTable 
   | where CreatedOn < now() - time(30d) 

Обратите внимание на флаг async, чтобы ваша функция не блокировалась при ожидании завершения.

Вы должны знать, что это тяжелая операция, и для тяжелой таблицы может потребоваться некоторое время.

Запустите экспорт, как вы предложили, и настройте подключение к сетке событий в месте экспорта, чтобы ADX повторно отправлял данные в ваш кластер.Вы можете узнать больше об этом здесь

Answer 2

Вы можете запускать команды .set-or-append, где часть запроса команды является запросом к нескольким базам данных, чтобы копировать данные (необработанные или обработанные) между таблицами в разных базах данных (а затем отбрасывать данные в исходной таблице, если это больше не требуется, поскольку вы упомянули, что намерение составляет move, а не copy)

Любой планировщик / оркестратор, который может выдавать управляющие команды (например, .set-or-append) для вашего кластера, является допустимым вариантом. Популярный Microsoft Flow: https://docs.microsoft.com/en-us/azure/kusto/tools/flow