У нас большой кластер Hadoop и недавно установлен Elastic Search для оценки.
Теперь мы хотим перенести данные из HDFS в ElasticSearch.
ElasticSearch установлен в другом кластере, и до сих пор - мы могли запустить скрипт Beeling или HDFS, чтобы извлечь данные из Hadoop в какой-то файл и затем из локального файла массово загрузить его в ElasticSearch.
Интересно, есть ли прямое соединение от HDFS к ElasticSearch.
Я начинаю читать об этом здесь:
https://www.elastic.co/guide/en/elasticsearch/hadoop/current/install.html
Но поскольку наша команда не является DevOps (не настраивает и не управляет кластером Hadoop) и может получать доступ к Hadoop только через Kerberos / user / pass - интересно, возможно ли это настроить (и как) без привлечения всей команды DevOps, которая управляет Hadoop кластер для установки / настройки всех этих библиотек перед прямым подключением?
Как это сделать со стороны Клиента?
Спасибо.