Как прочитать снимок Elasticsearch

Question

Я хотел бы скопировать содержимое моего кластера эластичного поиска в мое озеро данных для целей объединения. В настоящее время я делаю эту покупку, сканируя весь индекс каждый час и собирая из них новый набор паркетов. Этот процесс является медленным, дорогостоящим и трудным для кластера, пока выполняется очистка.

Полагаю, что дляasticsearch проще создавать моментальные снимки, чем для десятков клиентов, выполняющих вызовы сканирования параллельно. Поэтому я хотел бы сделать снимок индекса, разделить его по горизонтали между многими работниками, и пусть эти работники производят паркет.

Проблема заключается в том, что мой кластер размещен службой awsasticsearch, которая не предоставляет снимки в виде открытого текста. Я не знаю, как читать стандартный формат снимка, не загружая его в другой кластер эластичного поиска. Я хотел бы иметь возможность прочитать снимок из легкого процесса Python или Java в горизонтально масштабируемом рабочем пуле.

Можно ли прочитать снимок эластичного поиска, не загружая его в эластичный поиск?

Answer 1

es снимок, чтение должно загрузить данные, вы также можете скопировать файл данных в новый путь к данным, es может автоматически загрузить данные

PUT _snapshot/my_backup 
{
    "type": "fs", 
    "settings": {
        "location": "/mount/backups/my_backup" 
    }
}