Использовать Spark внутри Map-Reduce? - PullRequest
Новая
       23

Использовать Spark внутри Map-Reduce?

0 голосов
/ 03 февраля 2019

Spark использует Map Reduce для внутреннего использования?(своя собственная карта уменьшения)

Когда я впервые услышал, как кто-то сказал мне: «Используйте Spark Map-Reduce», я был так растерян, я всегда узнал, что искра была великим противником Hadoop-Map Reduce.

После проверки в Google я только что нашел веб-сайт, который дает слишком краткое объяснение этого: https://dzone.com/articles/how-does-spark-use-mapreduce

Но остальная часть Интернета - это Spark vs Map Reduce.

Чем кто-то объяснил мне, что когда спарк создает RDD, данные разделяются на разные наборы данных, и если вы используете, например, SPAR.SQL, запрос, который не должен быть картой, сокращается, как: 

select student 
from Table_students 
where name = "Enrique"

ВнутреннеSpark делает уменьшение карты для извлечения данных (из разных наборов данных).

Это правда?

Если я использую Spark Mlib, чтобы использовать машинное обучение, я всегда слышал, что машинное обучение несовместимо с сокращением карт, потому что для этого требуется так много взаимодействий и сокращает использование карт пакетной обработки.

В Spark Mlib Spark Внутренне тоже использует Map для уменьшения?

1 Ответ

0 голосов
/ 04 февраля 2019

Spark оснащен усовершенствованным механизмом направленного ациклического графа (DAG), поддерживающим циклический поток данных.Каждое задание Spark создает группу доступности этапов для кластера.По сравнению с MapReduce, которая создает группу обеспечения доступности баз данных с двумя предопределенными этапами - Map и Reduce, группы обеспечения доступности баз данных, созданные Spark, могут содержать любое количество этапов.DAG - это строгое обобщение модели MapReduce.Это позволяет некоторым заданиям завершаться быстрее, чем в MapReduce, с простыми заданиями, выполняющимися всего за один этап, и более сложными заданиями, выполняемыми за один этап из нескольких этапов, вместо того, чтобы разбиваться на несколько заданий.

Таким образом, Spark может написать программу сокращения карт, но на самом деле использовать DAG внутри.

Ссылка:

...