Зачем нам нужна виртуальная машина для установки и использования Apache Spark? - PullRequest
0 голосов
/ 22 февраля 2019

Я новичок в экосистеме больших данных.Я пытаюсь установить Apache Spark, но в учебных руководствах, которые я нашел в Интернете, сначала нужно установить виртуальную машину.Может кто-нибудь, пожалуйста, объясните, почему мне нужна виртуальная машина на моем компьютере с Windows?

Ответы [ 2 ]

0 голосов
/ 22 февраля 2019

Для * Apache Spark не требуется для его запуска на виртуальной машине.Вы можете прекрасно запустить его на своем компьютере локально.Однако обычно, когда вы работаете с программным обеспечением, таким как Apache Spark, вы обрабатываете огромные объемы данных, и при этом необходимо запускать большое количество экземпляров программного обеспечения в кластерах.Этот тип требований, который является следствием наличия больших наборов данных, означает, что имеет больше смысла запускать их на виртуальных машинах, которые могут иметь несколько на одном сервере вместо одного экземпляра на физический сервер.

0 голосов
/ 22 февраля 2019

Ты не.

Spark использует Java.Java работает во всех операционных системах.


В учебных руководствах могут использоваться виртуальные машины Hortonworks или Cloudera, потому что все предварительно настроено на , но это всего лишь оптимизация, которую вы можете выполнить в своей собственной ОС.

Как настроить Spark в Windows?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...