Можно ли запустить ЛЮБОЕ приложение или программу с HAD OOP YARN?

Question

Я недавно изучал распределенные вычисления и обнаружил, что oop Пряжа является одним из них. Поэтому я подумал, что если я просто установлю кластер sh Had oop Yarn, то каждое приложение будет работать распределенно.

Но теперь кто-то сказал мне, что HAD OOP Yarn не может ничего делать сам по себе и нуждается в других вещах, таких как mapreduce, spark и hbase.

Если это правильно, то означает ли это, что с Yarn можно запускать только ограниченные задачи? Или я могу применить распределенные вычисления Yarn ко всем нужным приложениям?

Answer 1

Had oop - это имя, которое относится ко всей системе.

HDFS - фактическая система хранения. Думайте об этом как о S3 или распределенной Linux файловой системе.

YARN - это структура для планирования заданий и распределения ресурсов. Он обрабатывает эти вещи для вас, но вы не очень с ним взаимодействуете.

Spark и MapReduce управляются Yarn. С этими двумя вы можете фактически написать свой код / ​​приложения и дать работу кластеру.

HBase использует хранилище HDFS (с файловой базой) и обеспечивает Sql хранилище.

Теоретически вы можете запускать на Yarn больше, чем просто Spark и MapReduce, и можете использовать что-то еще, кроме Yarn (Kubernetes находится в разработке или поддерживается). Вы даже можете написать свой собственный инструмент обработки, систему управления очередями / ресурсами, хранилище ... Если бы у oop было много частей, которые вы можете использовать или нет, в зависимости от вашего случая. Но большинство систем Had oop используют Yarn и Spark.

Если вы хотите развернуть, например, контейнеры Docker, лучшим выбором будет кластер Kubernetes. Если вам нужна пакетная / реальная обработка в Spark, используйте Had oop.

Answer 2

YARN действительно может делать все что угодно, учитывая, что узлы, выполняющие задачи, сами по себе способны выполнять работу. Например, вы не можете распространять библиотеку Python без предварительной установки зависимостей для этого скрипта. Это общий менеджер ресурсов, во многом такой же, как и Mesos.

В основном он поддерживает запуск файлов JAR, сценарии оболочки (по крайней мере, из Ooz ie) или Docker контейнеры также могут быть развернуты на нем (см. Apache документы)

Вы также можете обратиться к проектам Apache Slider или Twill для получения дополнительной информации.