AWS Batch Logs, чтобы запороть

Question

Я использую пакетную службу AWS для своей работы. я хочу отправить журналы, сгенерированные из AWS Batch, напрямую в Splunk, а не отправлять их в облачные часы. Как я могу настроить log-драйвер в AWS Batch для достижения этой цели?

-ND

Answer 1

Журналы пакетной обработки AWS можно отправлять в Cloudwatch , используя Добавление Splunk для AWS или используя одну из функций AWS LAMBDA (HTTP Event Collector), можно вставить в Splunk.

Answer 2

Splunk предоставляет 3 метода для пересылки журналов с хост-сервера на облачный сервер.

• Экспедитор Splunk (агент)
• Http Event Collector (HEC)
• Splunk logging драйвер для Docker

Но Splunk HTTP Event Collector (HEC) - это простой и эффективный способ отправки данных в Splunk Enterprise и Splunk Cloud в вашем сценарии. Вы можете отправлять логи через Http-запрос, используя HEC. Это можно определить в своем определении пакетного задания AWS. Учебник .

Кроме этого, вы можете использовать драйвер ведения журнала Splunk Docker, поскольку пакетное задание AWS будет порождаться в контейнере ECS. Для этого метода вы должны определить пользовательский AMI (для вычислительной среды), который настроил демон docker для отправки всех журналов контейнера на определенный сервер Splunk.