менеджер ресурсов hadoop, как узнать, где находятся данные

Question

Например, я запускаю запрос куста "SELECT COUNT (1) FROM DB.TABLE_NAME;".

Затем куст будет преобразован в MapReduce, а затем отправлен в ResourceManager.Концепция Hadoop заключается в том, что приложение будет развертываться там, где существуют данные.Но ResourceManager не знает, где находятся данные.Как развернуть задачи в ResourceManager?

Большое спасибо.

Answer 1

Вам не нужно беспокоиться о местонахождении ваших данных.Hadoop заботится о локальности данных при планировании задач для вашей работы.

В Namenode есть информация о том, где находятся блоки вашего файла для обработки (в HDFS).Hadoop использует эту информацию для запуска задач на этих машинах и обработки данных.Как разработчик, вы абстрагированы от этой информации