Используйте Hbase для равного соединения - PullRequest
0 голосов
/ 01 декабря 2018

Я работаю над Data.csv, представленным как key1, val1 (например, A, B и B, C и т. Д.), Чтобы найти путь длиной 2 (например, A-> B-> C при соединении в B)

Я пытаюсь реализовать это, используя гибридный метод, используя MapReduce, а также HBase для индексации.Таким образом, когда я получаю край A-> B, я могу посмотреть край, начинающийся с B, например B-> C.Для этого я бы сохранил data.csv в таблице HBase, а затем задание Hadoop будет сканировать входные данные один за другим и пытаться найти значения для соединения и генерации.Я не знаю, какой тип реализации будет работать, или это вообще невозможно.

...