Переместить данные из Oracle в Cassandra и / или MongoDB - PullRequest
3 голосов
/ 15 марта 2011

На работе мы думаем перейти от Oracle к базе данных NoSQL, поэтому я должен сделать несколько тестов на Cassandra и MongoDB.Мне нужно перенести множество таблиц в базу данных NoSQL, идея состоит в том, чтобы синхронизировать данные между этими двумя платформами.

Поэтому я создаю простую процедуру, которая делает выбор в базу данных Oracle и вставку в монго.Некоторые из моих коллег отмечают, что, возможно, есть более простой (и более профессиональный) способ сделать это.

Кто-нибудь имел эту проблему раньше?как вы это решаете?

Ответы [ 2 ]

8 голосов
/ 15 марта 2011

Если ваша цель состоит в том, чтобы скопировать существующую структуру из Oracle в базу данных NoSQL, то вам, вероятно, следует сначала пересмотреть свой шаг. Делая это, вы теряете все преимущества, которые вы видите, переходя в нереляционное хранилище данных.

Хорошим первым шагом будет длинный взгляд на существующую структуру и определение того, как она может быть изменена, чтобы оказать положительное влияние на ваше приложение. Дополнительно рассмотрим гибридную систему одновременно. Cassandra отлично подходит для многих вещей, но если вам нужна реляционная система, и она уже использует множество функций Oracle, то, вероятно, имеет смысл для большей части вашей базы данных оставаться в Oracle, перемещая части, которые требуют частых записей и извлечь выгоду из другой структуры, чтобы Монго или Кассандра.

После того, как вы приняли решение о своей структуре, я бы предложил написать сценарии / программы / добавить модуль в существующее приложение, чтобы записать данные в новом формате в новое хранилище данных. Это даст вам наиболее детальный контроль над каждым этапом процесса, который я хотел бы получить при большом общесистемном изменении архитектуры.

1 голос
/ 07 июня 2011

Вы также можете рассмотреть возможность использования компонентов экосистемы Hadoop для выполнения этой задачи (ETL). Для этого вам необходимо смоделировать базу данных Cassandra в соответствии с требованиями.Можно было бы перенести данные таблицы оракула в HDFS (желательно с использованием SQOOP), а затем написать задание Map-Reduce для преобразования этих данных и вставки в модель данных Cassandra.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...