написать на нескольких таблицах с похожей картой уменьшить - PullRequest
0 голосов
/ 27 июня 2018

На HBase у меня есть таблица, TABLE-A, у которой есть метка времени на ключе строки. Поскольку TABLE-A очень большой, а многие данные имеют одинаковую временную метку, я хочу агрегировать таблицу по минутам, часам и дням. Я могу извлечь метку времени в MyMapper вместе с элементами столбца и передать метку разрешенного времени вместе с элементами столбца в MyReducer для выполнения операций и создания минуты TABLE-A-Minute. Теперь, чтобы создать час и день, я не хочу возвращаться к TABLE-A, но делаю это во время минутной агрегации, поскольку они равны 60,3600,86400 секундам.

Как я могу сделать это в HBase, поскольку TableMapReduceUtil принимает MyMapper.Class и MyReducer.Class, и нет никакого способа отличить, какое разрешение исходит от Mapper, даже если я пытаюсь создать несколько классов редукторов. Я могу думать только о создании нескольких заданий, но это не повлияет на класс Mapper.

...