Миграция Splunk в S3 DataLake

Question

Мы рассматриваем отход от Splunk в качестве нашего хранилища данных и рассматриваем AWS Data Lake при поддержке S3.

Каков будет процесс переноса данных из Splunk в S3? Я прочитал много документов, в которых говорится об архивировании данных из Splunk в S3, но не уверен, архивирует ли это данные в пригодном для использования формате ИЛИ если это какой-то архивный формат, который необходимо восстановить, чтобы он сам себя разделил?

Answer 1

Проверьте функцию SmartStore от Splunk. Он перемещает ваши не горячие ведра на S3, поэтому вы экономите на хранении. Однако запуск SmartStore в AWS имеет смысл только в том случае, если вы запускаете Splunk в AWS. В противном случае, сбор за экспорт данных обанкротит вас. Экспорт данных применяется, когда Splunk необходимо выполнить поиск в сегменте, который хранится в S3, и, таким образом, скопировать этот фрагмент в индексатор. См. https://docs.splunk.com/Documentation/Splunk/8.0.0/Indexer/AboutSmartStore для получения дополнительной информации.

Answer 2

Из того, что я прочитал, есть несколько способов сделать это:

• Экспорт с помощью веб-интерфейса
• Экспорт с использованием REST API Endpoint
• Экспорт с использованием CLI
• Копирование определенных файлов в файловой системе

До сих пор я пытался использовать CLI для экспорта, и мне удалось экспортировать около 500 000 событий одновременно, используя

splunk search "index=main earliest=11/11/2019:00:00:01 latest=11/15/2019:23:59:59" -output rawdata -maxout 500000 > output2.dmp

Однако - я не уверен, как я могу точно повторить этот шаг, чтобы убедиться, что я включил все 100 миллионов + событий. IE выполняет поиск от ДАТЫ A до ДАТЫ B для получения 500 000 записей, а затем выполняет поиск от ДАТЫ B до ДАТЫ C для следующих 500 000 - без пропуска каких-либо событий между ними.