как управлять одновременными мапперами в HBase

Question

У меня есть задание на импорт во внешнюю таблицу улья (Hbase). Поскольку мои данные слишком велики, и я вижу, что 500 картографов открыты и выполняются. Но я хочу контролировать количество одновременных картографов, которые должны выполняться одновременно.

Я ожидаю. Пусть улей еще создаст 500 картостроителей. Но я хочу, чтобы одновременно выполнялось только 100 картографов.

Не уверен, как управлять одновременными сопоставителями.

Любая помощь действительно ценится. Заранее спасибо !!

Answer 1

Я ожидаю. Пусть улей еще создаст 500 картостроителей. Но я хочу, чтобы одновременно выполнялось только 100 картографов.

Не уверен, что подразумевается под этим. Но если вы хотите контролировать количество картографов, одним из способов является контроль входных разбиений, как показано ниже:

set mapreduce.input.fileinputformat.split.maxsize= <some number>;
set mapreduce.input.fileinputformat.split.minsize= <some number>;

Установка максимального и минимального размера ввода поможет вам в управлении отображениями.

Также вы можете попробовать установить количество картографов в улье:

SET mapreduce.job.maps=100

Надеюсь, это поможет:)