Есть ли способ указать количество картографов в Scalding?

Question

Я новичок в обжигающем мире. Моя работа по ошпариванию будет состоять из нескольких этапов, и мне нужно настроить каждый этап индивидуально.

Я обнаружил, что мы можем изменить количество редукторов, используя withReducers. Кроме того, я могу установить размер разделения для входных данных с помощью конфигурации задания. Тем не менее, я не видел никакого способа изменить количество картографов для моих подзадач на лету.

Я что-то пропустил? Кто-нибудь знает, как указать количество картографов для моих подзадач? Спасибо.

Answer 1

Есть некоторые ответы / идеи, которые могут быть полезны для кого-то, кто разделяет тот же вопрос.

Гораздо проще управлять редукторами по сравнению с картографами.

Картографы управляются hadoop без аналогичной простой ручки. Вы можете установить некоторые параметры конфигурации, чтобы дать hadoop представление о том, сколько задач карты нужно запустить.

Это переполнение стека может быть полезным: Настройка количества задач на карте и сокращение задач

Один из обходных путей, который я мог бы придумать, - это сменить вашу основную задачу на маленькие, которые вы могли бы индивидуально настроить по размеру (количеству отображений) ваших входных данных.