Получайте данные с Oracle на Кассандру каждый день - PullRequest
0 голосов
/ 05 ноября 2018

Мы хотим каждый день брать столы из Оракула в Кассандру. Потому что таблицы обновляются в Oracle каждый день. Поэтому, когда я искал это, я нахожу эти варианты:

  • Извлечение таблиц оракула в файл, затем запись Cassandra
  • Использование sqoop для получения таблиц из Oracle, написать работу Map Reduce и вставить в Cassandra?

Я не уверен, какой путь подходит? Также есть еще варианты?

Спасибо.

1 Ответ

0 голосов
/ 17 декабря 2018

Вариант 1 Извлечение таблиц оракула в виде файла, а затем ежедневная запись в Cassandra вручную может быть утомительным процессом, если только вы не планируете работу cron. Я пробовал это раньше, но если процесс не удается, то регистрация может быть проблемой. Если вы используете этот процесс и экспортируете в CSV и пытаетесь записать в Cassandra, то я бы предложил использовать Cassandra Bulk Loader (https://github.com/brianmhess/cassandra-loader)

Вариант 2 Я не работал с этим, поэтому не могу об этом говорить.

Вариант 3 (я использую это) Я использую инструмент с открытым исходным кодом, Pentaho Data Integration (Spoon) (https://community.hitachivantara.com/docs/DOC-1009855-data-integration-kettle), чтобы решить эту проблему. Это довольно простой процесс ложка . Вы можете автоматизировать этот процесс с помощью сервера карт (ложного сервера), который имеет возможности ведения журналов, а также автоматический перезапуск, если процесс не удался в промежутке.

Дайте мне знать, если вы нашли какое-либо другое решение, которое работает для вас.

...