Сделать OLAP с Hadoop Hive из OLTP Mysql - PullRequest
Новая
       116

Сделать OLAP с Hadoop Hive из OLTP Mysql

1 голос
/ 08 августа 2011

Я немного путаюсь с ульем Hadoop, который я прочитал из вики, использованной для создания OLAP.Теперь я хочу сделать OLAP на Hive из базы данных OLTP, которые используют Mysql.

Как я могу решить эту проблему?Могу ли я использовать чайник для изготовления OLAP в Hive?Любое руководство, как сделать OLAP на Hive из OLTP mysql?

Tks.

1 Ответ

0 голосов
/ 08 августа 2011

Я бы предложил следующий подход:
a) Чтобы указать часть истории вашего процесса OLTP.Обычно это какие-то журналы над операциями.Давайте назовем это таблицей фактов.
b) Чтобы таблица фактов была разбита по времени
c) Периодически выгружать самый старый раздел из MySQL, экспортируя его в CSV и удаляя из MySQL.
e) Загружать этот файл CSV в Hive

Благодаря реализации этой схемы вы получите все данные, кроме самых последних, в улье и предотвратите рост базы данных MySQL OLTP.

...