Я знаю, что MapReduce использует пары ключ-значение. Каковы именно ключ и значение в этом контексте?

Question

В MapReduce я знаю, что читатель ввода переводит каждую запись во входном файле и отправляет проанализированные данные в маппер в виде пар ключ-значение. Однако я не знаю, что именно представляют ключ и значение. Я прочитал много источников, включая документацию Apache и раздел Tutorials Point по MapReduce, но я до сих пор не могу найти, что они из себя представляют.

У меня есть 2 предположения:

1) Ключ представляет идентификатор записи (такой как индекс), а значение представляет фактические данные.

2)Ключ представляет узел в кластере, который будет обрабатывать эту конкретную запись, а значение представляет данные этой записи.

Я прав? Если нет, пожалуйста, скажите мне, каков правильный ответ.

Answer 1

Позвольте мне сказать для TextInputFormat, который является форматом ввода по умолчанию для mapreduce.

Ключи - это позиция в файле, а значения - строка текста.

Вы всегда можете обратиться к документу API. https://hadoop.apache.org/docs/r2.7.5/api/org/apache/hadoop/mapred/TextInputFormat.html

Для любой реализации формата ввода вы можете просто перейти и проверить в документе API, какой ключ и значение используются этим форматом ввода. В большинстве случаев ключом будет смещение, а значением будет фактическая запись в файле.