У нас есть AWS Управляемый ES Cluster и 4 индекса в них. Наши данные были там во всех индексах до 31 декабря 2019 года. Однако, когда мы вернулись 2 января 2020 года, мы увидели, что все индексы были удалены! Это действительно ужасно для нас. Я быстро сделал _cat / indexes со временем создания, и заметил, что индекс .kibana_1 имел время создания в 31 декабря, 8:40 по Гринвичу , а один индекс имел время создания в 31 декабря, 13:00 по Гринвичу. Некоторые другие индексы были созданы после этого времени из-за триггеров потребления нашего продукта.
Но это не должно быть так, , поскольку наш кластер размещался за 1-1,5 месяца до . Мы никогда не останавливали кластер AWS ES с того момента, как он был. Мы пытались узнать время работы кластера, предполагая, что любой перезапуск повлиял бы на индексы каким-либо образом, но не нашли способа узнать время работы кластера.
У нас есть один узел и время его работы отображается как 3.8d (при условии 3,8 дня) , поскольку я выполнил запрос только сегодня. Это вносит еще большую путаницу, поскольку наш индекс .kibana_1 был создан 31 декабря, что составляет почти 5 дней go. Не совсем уверен, что это ожидаемый сценарий или нет.
Я не включил управление доступом в кластере, и только пара людей имеет доступ к кластеру, и никто из них не выполнил удаление запрос на кластер . Мы не включили регистрацию в AWS Cluster. Суммарные данные во всех индексах вместе составляют менее 5 ГБ.
Мы вернулись к снимку, который был у нас 31 декабря. Но мы потеряли все данные за 2 дня. Мне бы очень хотелось узнать, при каких условиях произойдет нечто подобное. Мы собираемся приступить к производству всего продукта через несколько недель, и предположение, что это может повториться, пугает меня сейчас.
Есть мысли и идеи о том, как это произошло и как предотвратить это в будущем?