ошибка в планировании данных от mysql до пн go дБ - PullRequest
Новая
       76

ошибка в планировании данных от mysql до пн go дБ

0 голосов
/ 04 февраля 2020

Мы разрабатываем систему SAAS, в которой мы изначально использовали MySQL в качестве БД, но по мере роста данных наши списки данных становятся все медленнее, поэтому мы решили, что использовали Mon go БД, в которой мы сохранили подготовленные JSON нам нужно отобразить (со всеми объединениями MySQL) в течение некоторого времени, что он работает хорошо

мы написали планировщик в java, который выполняется каждые 2 минуты и обновляет измененные записи из MySQL до понедельника go

Первоначально он работает хорошо, но со временем данные и их скорость возрастают многократно, поэтому мы решили найти любую альтернативу для этого, которая может читать из MySQL binlogs и мы можем объединить MySQL таблиц в соответствии с нашими потребностями в пути и хранить в пн go дБ 

Table 1
  Col11
  Col12
  Col13
  Col14
  Col15

таблица 2 Col21 Col22 Col23 Col24 Col25

Mon go Коллекция 

  Col11
  Col12
  Col13
  Col14
  Col15 
  Col21
  Col22
  Col23
  Col24
  Col25

1 Ответ

1 голос
/ 04 февраля 2020

Один из вариантов может быть Kafka Connect для перемещения данных из MySQL в Кафку, а затем из Кафки в MongoDB.

Шаг 1: Используйте JDBCSourceConnector для перемещения данных из MySQL в Kafka

Kafka Connect JDB C Исходный соединитель позволяет импортировать данные из любой реляционной базы данных с драйвером JDB C в темы Apache Kafka®.

Шаг 2: Использовать MongoDB Connector перемещать данные из Kafka в MongoDB

Отображать и сохранять события из тем Kafka непосредственно в коллекции MongoDB. Получайте события из ваших тем Kakfa непосредственно в коллекции MongoDB, предоставляя данные вашим службам для эффективного запроса, обогащения и анализа.

Обратите внимание, что соединитель MongoDB можно использовать как соединитель источника или приемника. В вашем случае вам понадобится соединитель приемника для перемещения данных из ваших топик Kafka c в ваши целевые таблицы в MongoDB.

...