Запрос ElasticSearch для получения плоского файла или дампа индекса

Question

У нас есть экземпляр ElasticSearch для Linux в облаке Azure. Мы пытаемся программно получить плоский файл или дамп (формат является предметом переговоров) одного из наших индексов ElasticSearch один раз каждые 24 часа в указанное время, который затем будет доставлен клиенту, у которого нет ElasticSearch. Файл будет иметь размер около 15 ГБ и включать около 7 миллионов документов.

Мы думаем, что нам нужно начать с запроса к нашему экземпляру ElasticSearch, который фактически получит данные, однако, из-за моего прочтения документации, я не вижу такого запроса, чтобы выполнить это.

Кто-нибудь знает такой запрос или методологию для достижения этой цели? В дополнение к запросу важен большой размер файла, и его необходимо будет рассмотреть, чтобы найти правильное решение.

РЕДАКТИРОВАТЬ: я добавил дополнительную информацию, которая не была очевидна в первом посте, что может немного отличать ответы.

Answer 1

Одной из возможностей, помимо упомянутой Val, является использование функциональности снимка .

Снимок - это резервная копия, взятая из работающего кластера Elasticsearch. Вы можете сделать снимок отдельных индексов или всего кластера и сохранить его в репозитории в общей файловой системе, а также есть плагины, которые поддерживают удаленные репозитории в S3, HDFS, Azure, Google Cloud Storage и других.

Позже этот моментальный снимок может быть восстановлен в том же кластере или в новом кластере (если вы собираетесь использовать его в качестве механизма резервного копирования или восстановления после отказа)