Hbase Map и Reduce на одном столе

Question

Можно ли отобразить и уменьшить на одной и той же таблице hbase? Например, рассмотрим пример wordcount, я хочу отобразить каждую отдельную строку столбца, уменьшить ее и мгновенно записать в одну строку. Возможно ли это сделать? Если да, какой будет производительность?

Answer 1

Это зависит от метода уменьшения карты, который вы используете. Если вы используете методы массовой загрузки , то выполнить эту операцию довольно безопасно, поскольку она сначала считывает все данные из таблицы и только при обновлении. Это хорошо для массового обновления таблицы и в этом случае имеет лучшую производительность при уменьшении стандартной карты, которая работает непосредственно с таблицей.

Answer 2

Я не пробовал это, но я вижу риск попадания в бесконечный цикл.

Так что, если вы можете сделать это, вы должны убедиться, что диапазон клавиш, которые вы используете в качестве ввода, НЕ пересекается с клавишами, которые вы производите в качестве вывода.