Массовая загрузка нескольких CSV в Hbase - PullRequest
Новая
       42

Массовая загрузка нескольких CSV в Hbase

0 голосов
/ 12 октября 2018

Я подхожу к Hbase и мне нужно загрузить в него различные CSV временных рядов, в одной таблице.

В частности, у меня есть:

first.csv 

    +---+---+----------+-------------------+
    |_c0| ID|       log|           datetime|
    +---+---+----------+-------------------+
    |  0|  9|       4r8|2001-12-10 01:00:00|
    |  1| 45|       223|2001-12-10 01:00:00|
    |  2|  9|       iu8|2002-11-01 03:00:00|

секунда 

    +---+---+----------+-------------------+
    |_c0| ID|   message|           datetime|
    +---+---+----------+-------------------+
    |  0|  9|     ERROR|2001-12-10 01:00:00|
    |  1| 45|   SUCCESS|2001-12-10 01:00:00|
    |  2|  9|   SUCCESS|2002-11-01 03:00:00|

Я хочу загрузить в Hbase эту схему SuperColumnFamily: 

           ROW_KEY      |    ID = 9     |    ID = 45
    +-------------------+---------------+---------------+
                        | log | message | log | message |
    |2001-12-10 01:00:00+-----+---------+---------------+
                        | 4r8 |  ERROR  | 223 | SUCCESS |
    +-------------------+---------------+
                        | log | message |
    |2002-12-01 03:00:00+-----+---------+
                        | iu8 | SUCCESS |
    +-------------------+---------------+

Как это сделать?(MapR, Spark, CompleteBulkLoad?)

...