Apache хруст дублирующих промежуточных выходов - PullRequest
0 голосов
/ 25 января 2020

В crunch dag я могу наблюдать более одного вывода от одного из заданий mapreduce: одно, которое записывает в hdfs, и другое, которое передается дальше в конвейер для обработки, причем оба они одинаковы, эти множественные записи должны избегать. установка режима записи Target и вызова кеша на PTable не помогла.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...