Каков наилучший способ перехода с MYSQL на Elasticsearch?

Question

Я собираюсь перенести журналы MYSQL (миллионы записей) в ELK, и мне интересно, как лучше всего это сделать.

Должен ли я просто создать единый индекс для всех записей (sqlбаза данных) или я должен создать другой индекс для базы данных?

Или, если есть лучший способ сделать это, не могли бы вы предложить?

Кстати, я новичок в ELK, и форум не совсем полезен. Извините.

Я уже пытался перенести одну БД, содержащую не менее 1000 записей, и это сработало.

Answer 1

Одним из способов переноса данных, которые также поддерживают результаты, основанные на запросах, является использование входного плагина JDBC в Logstash. Индексная архитектура, на которую вы хотите перейти, зависит от того, какие варианты использования вы просматриваете / какой анализ вы планируете делать. Прямая миграция может не помочь из-за индексации и нереляции Elasticsearch, в отличие от MySQL. Возможно, вы захотите отменить нормализацию своих данных, прежде чем отправлять их в Elasticsearch.