Лучший способ периодически загружать данные (2-3 ГБ) в кластер Apache Ignite, работающий в кластере Kubernetes

Question

Данные должны периодически загружаться (например, один раз в день), и они должны храниться в формате SQL, чтобы API мог выполнять запросы SQL.Мы думаем о загрузке его из HDFS.В настоящее время мы думаем об использовании Apache Nifi с использованием PutIgniteCache.

Я думал, что, возможно, смогу запустить удаленный клиентский узел Ignite, а затем использовать IgniteDataStreamer для потоковой передачи данных, но я не смог найти для этого нужную документацию.Есть ли лучшие способы сделать это?

Answer 1

Документация для Nifi гласит, что использует API стримера данных , поэтому, если вам не нужно больше контроля, это не кажется плохим вариантом (с оговоркой, которую я никогда раньше не слышал о Nifi)тем более использовал его!).