У нас есть кластер Hadoop на основе ambari
Поскольку у экономичного сервера низкая производительность, мы решили заменить его на presto
Наш нынешний кластер Hadoop имеет следующие машины
960 компьютеров с узлами данных (на базе ОС Redhat 7)
Несколько слов о
Presto (или PrestoDB) - это распределенный механизм SQL-запросов с открытым исходным кодом, разработанный с нуля для быстрых аналитических запросов к данным любого размера. Он поддерживает оба нереляционных источника, такие как распределенная файловая система Hadoop (HDFS),
Мы установили новый сервер Presto следующим образом
Сначала мы установили ОС (redhat 7), всего 13 машин
1 машина для координатора Presto
И 12 машин для рабочих
После установки ОС
Мы успешно установили Presto (Presto Координатор + Presto работников)
Теперь мы застряли на том, как сделать интеграцию между Presto кластером и кластером Hadoop
Я приведу короткий пример с разъемом улья (hive.properties)
у нас есть следующая переменная
hive.config.resources = / и т.д. / Hadoop / CONF / ядро-site.xml, / и т.д. / Hadoop / CONF / HDFS-site.xml * * +1013
, поскольку этот файл находится на компьютерах узлов данных и, разумеется, не на рабочих машинах Presto, я предполагаю, что нам нужно скопировать эти файлы с одного из компьютеров узлов данных на рабочие машины Presto
я здесь?