Ускорьте работу ошпаривания - PullRequest
0 голосов
/ 14 января 2019

У меня есть сваривающая работа, на выполнение которой в среднем уходит 4 часа. В Scalding есть много ручек, которые мы должны настроить, чтобы он работал оптимально для заданного объема данных и схемы отображения / уменьшения. Я настроил маппер / редукторы, а также очередь. Есть ли общий способ ускорить обработку задания ошпаривания, кроме настройки маппера / редуктора / позднего запуска / ресурса, доступного по очереди?

Я бегу Скальдинг с Мезосом / Авророй.

...