Я не смог ничего найти по этому вопросу после нескольких часов поиска в Google, поэтому я надеюсь, что смогу найти некоторые идеи по моей проблеме здесь.
Я пытаюсь получить данные из удаленного кластера улья, используя spark2. Я следовал:
- Как программно подключиться к метастагу Hive в Spark SQL?
- Как подключиться к удаленному серверу улья из spark
И мне удалось успешно подключиться к удаленному метастагу улья.
Однако моя проблема начинается, когда я выполняю запрос в удаленном кусте. например, spark. sql («выберите количество (*) из таблицы»). Я получу ошибку «неизвестный хост: ns-bigdata». Где ns-bigdata - имя кластера удаленного кластера.
Что еще мне здесь не хватает? Нужно ли указывать, где должен быть файл hive.metastore.warehouse.dir? например, hdfs: // локальный кластер: 8020 / пользователь / куст / склад
Заранее спасибо.