ELK Стек и Редис. Могу ли я остановить опустошение БД? - PullRequest
Новая
       6

ELK Стек и Редис. Могу ли я остановить опустошение БД?

0 голосов
/ 07 сентября 2018

У меня есть работающая система, которая использует Redis DB и старый стек ELK. Я создаю новую версию. Я хочу использовать раздел ввода моего нового Logstash для чтения данных из старой базы данных Redis, но в моих тестах, когда я делаю это, мне кажется, что данные из нее истощаются. В любом случае я не хочу изменять текущую реализацию logstash или работающего конвейера (то есть добавить 2-й вывод в конфигурацию live logstash). 

LIVE Data -> Redis -> Logstash -> ES -> Kibana
               |                          :
            Read only               compare old with new
               |                          :       
               V                          V
            New Logstash -> New ES -> New Kibana

Я чувствую, что что-то упускаю из отношений между logstash и redis. Я надеялся просто продублировать redis, прочитанный в моей новой конфигурации logstash, и проверить, что конвейер ведет себя так же, как старый, прежде чем я начну жить с ним, но если я удаляю эти данные, а не дублирую, я собираюсь серьезно расстроить команду мониторинга!

Как я могу предотвратить повторное перетекание журналов из моего нового logstash?

1 Ответ

0 голосов
/ 10 сентября 2018

Я нашел решение, не отвечая на этот вопрос. Я использовал redis реплику , например. 

LIVE Data -> Redis    ->    Logstash    ->    ES    -> Kibana
               |                                          :
            Read only                                  compare
               |                                          :       
               V                                          V
           Redis Replica -> New Logstash -> New ES -> New Kibana

Единственная проблема заключалась в том, что данные так быстро извлекались из старой БД Redis с помощью logstash, что я не мог прочитать их с новым logstash (обычно биты проходили). БД отправила LPOP реплике, и данные были удалены. Это было не так уж плохо, так как я мог затем остановить logstash на старой системе, позволить новой системе заполнить свою базу данных ES, а затем снова включить старый logstash, который очень быстро догонит. Затем у них был тот же набор данных за тот же период, и я мог сравнить.

Не разработали способ запуска этих двух систем одновременно, но этого достаточно для моих целей, поскольку это не меняет конфигурацию старой системы, просто прервите ее на некоторое время.

...