Надеемся, что это упражнение будет полезно для тех, кто плохо знаком с hadoop и spark.
Это более общий вопрос, но внутри кластера hadoop (у нас работает 20 серверов), 12 из которых содержатискровой ресурс.Когда запускается искра, выполняется ли это задание на всех узлах, содержащих искру, или это зависит от хозяина ресурса (сервера пряжи), чтобы решить, где (на каком) выполнить код.
Я также запуталсячто касается стека, за которым сидит искра.Искра работает на фактическом узле данных?Например, пользователь запускает некоторый код Python на уровне приложения, создавая экземпляр spark, который подключается к hdfs / resource master, чтобы затем запустить этот код на фактических узлах?
Заранее спасибо