Я пытаюсь найти решение для больших данных в качестве вычислительного механизма (например, механизма SQL или машинного обучения) для поддержки одновременных подключений к хранилищам AWS, GCP и Azure и их управляемым службам SQL, а также к кластерам On-Prem, таким как Hadoop.который поддерживает безопасность данных, детализированный ACL, график линий и управление данными.
Зная, что облачные сервисы не поддерживают соединения с другими облаками, я знаю, что есть решение Hadoop для решения этой проблемы с использованием Hive и RangerНо у Hive есть недостатки в производительности, особенно по сравнению со Spark и Presto.
Есть идеи?