Есть ли лучший пример MapReduce для неструктурированных данных, чем WordCounts? - PullRequest
0 голосов
/ 10 октября 2019

https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

Кто-нибудь нашел полезный пример для изучения mapreduce, который выходит за рамки типичного примера подсчета слов / предметов при введении mapreduce? Или что-то, что даже более полно, чем пример подсчета слов / предметов?

Пока я только что прочитал, я немного запутался: - Так что для mapreduce вам нужно сделать 4 вещи 1) Загрузитьданные, 2) сопоставьте данные, затем 3) уменьшите данные

  • кажется, что уменьшение карты требует от нас сначала сопоставления, прежде чем мы уменьшим

  • Выполнение картографирования требует от нас перехода <10 110 3> сюда <10 110-3>

  • Затем мы делаем некоторые «редукции» или математические исходные и целевые значения, поэтому мынужно разбить эту "отображенную" структуру обратно на исходную структуру.

  • Однако, тогда мы выведем ее в структуру карты?

Мне кажется, я мог бы это выяснить, если бы у меня был лучший пример того, как работает уменьшение карт.

PS Я настроил виртуальную среду с Hadoop, Java и Maven. Мне дали этот урок, но все, что я пытаюсь сделать, не имеет никакого смысла.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...