у нас есть искровой кластер HDP 2.6.4 с 10 рабочими машинами Linux.
Кластер запускает искровые приложения через HDFS.HDFS установлена на всех рабочих.
Мы хотим установить presto, который будет запрашивать HDFS кластера, однако из-за нехватки ресурсов ЦП на рабочих машинах (только 32 ядра на машину) планустановить presto вне кластера.
Для этой цели у нас есть несколько ESX, у каждого ESX будет 2 виртуальных машины, и каждая виртуальная машина будет работать на одном сервере Presto.
Все машины ESX будут подключены к искровому кластеру через сетевые карты 10g, так что два кластера будут в одной сети.
Мой вопрос: можем ли мы установить presto на кластер виртуальных машин, и хотя HDFS находится не в кластере ESX (а вместо этого в искровом кластере)?
РЕДАКТИРОВАТЬ:
Из полученного нами ответа кажется, что установка presto на ВМ является стандартной, поэтому я хотел бы уточнить мой вопрос:
Presto имеет файл конфигурации с именем hive.properties в каталоге presto /и т. д.
Внутри этого файла есть параметр с именем hive.config.resources со следующим значением:
/ etc / hadoop / conf / presto-hdfs-site.xml, / etc / hadoop/conf/presto-core-site.xml
Эти файлы являются файлами конфигурации HDFS, но поскольку кластер виртуальной машины и искровой кластер (который содержит HDFS) являются отдельными (доступ к кластеру виртуальной машины должен иметь доступHDFS, которая находится на искровом кластере), вопрос -
должны ли эти файлы быть скопированы с искрового кластера на кластер виртуальных машин?