Пакетная мутация Гектора и использование заданий Hadoop для загрузки данных в Cassandra? - PullRequest
2 голосов
/ 16 августа 2011

Может ли кто-нибудь выделить плюсы и минусы для пакетной мутации Гектора и использования заданий Hadoop для загрузки данных в Cassandra?

Я знаю, что в Гекторе вы можете сделать что-то вроде следующего:

mutator.addInsertion(...);
mutator.execute();

А в Hadoop вы можете использовать задания MR для загрузки данных в Cassandra.

Я ищу причины использовать или не использовать каждый из них. Спасибо!

1 Ответ

2 голосов
/ 16 августа 2011

Если источник данных в данный момент не находится в hadoop (или hbase), я бы порекомендовал просто многопоточный загрузчик, использующий Mutator, как указано выше, чтобы уменьшить количество движущихся частей.

Эта суть датирована, но подход будет аналогичным: https://gist.github.com/397574

Дайте мне знать, если вы хотите получить более подробную информацию.

...