Нужен ли "Git" для установки Apache Spark?

Question

Я довольно новичок в технологии больших данных и пытаюсь учиться.Я следовал инструкции по установке Spark на Amazon-EC2, я сделал это, но один из шагов привел меня в замешательство, и я не смог найти какой-либо надежной причины для шага «Установка Git».

Нужен ли Spark Git дляустановка, если да для чего?Какова задача для Git?Если нет, есть ли причина поместить его в руководство по установке?

Заранее спасибо.

Answer 1

Краткий ответ: Нет, вам не нужен Git для установки Apache Spark .

Более длинный ответ: Существуют способы, которые уже автоматизируют установку для вас.

Если вы хотите изучить Apache Spark, лучший способ начать играть с Spark на AWS - Databricks Community Edition .Или просто обычные Databricks управляют кластерами Spark.Они получают относительно небольшую плату , чтобы снять операционную нагрузку.

Другой способ - использовать Amazon Elastic MapReduce с предустановленной Spark / Zeppelin с помощью отметки необходимые поля в пользовательском интерфейсе (или только ваши скрипты CloudFormation или Terraform).

Хотя Spark действительно может работать на вашем ноутбуке на очень маленьких наборах данных, если на вашем компьютере уже установлен python / java, как описано в этом руководстве -.

Ваш пробег может варьироваться.