На HBase у меня есть таблица, TABLE-A
, у которой есть метка времени на ключе строки. Поскольку TABLE-A
очень большой, а многие данные имеют одинаковую временную метку, я хочу агрегировать таблицу по минутам, часам и дням. Я могу извлечь метку времени в MyMapper вместе с элементами столбца и передать метку разрешенного времени вместе с элементами столбца в MyReducer для выполнения операций и создания минуты TABLE-A-Minute. Теперь, чтобы создать час и день, я не хочу возвращаться к TABLE-A
, но делаю это во время минутной агрегации, поскольку они равны 60,3600,86400
секундам.
Как я могу сделать это в HBase
, поскольку TableMapReduceUtil
принимает MyMapper.Class
и MyReducer.Class
, и нет никакого способа отличить, какое разрешение исходит от Mapper, даже если я пытаюсь создать несколько классов редукторов. Я могу думать только о создании нескольких заданий, но это не повлияет на класс Mapper.