Как мы можем заставить много мапперов читать один конкретный файл (одни и те же данные) в hadoop?

Question

Я хочу написать программу, которую многие картографы читают один 1 файл, который является графом, и все выполняют обработку на этом графике, этот файл составляет около 14 КБ, если я запускаю обычным образом, для этого файла будет отображен только один картографя могу это сделать?С наилучшими пожеланиями.

Answer 1

Поместите файл в HDFS и прочитайте файл, используя HDFS API в функции картографирования, и выполните его обработку. Вы также можете попробовать DistributedCache вместо помещения файла в HDFS.

Этот сценарий также применим, когда необходимо выполнить N имитаций для набора данных. Факторы моделирования будут входными данными для функции карты, а фактические данные считываются в функции карты.