Как получить журналы от экземпляров EC2, созданных с помощью автоматического масштабирования?

Question

У меня есть экземпляр EC2, созданный с включенным автоматическим масштабированием в Amazon Web Services - в соответствии с экземплярами Webload создаются и завершаются автоматически.Как получить журналы из экземпляров, которые создаются автоматически?

Answer 1

Вот тема на форумах разработчиков AWS с некоторыми предложениями:

https://forums.aws.amazon.com/message.jspa?messageID=183672

Поскольку вы используете автоматическое масштабирование, я предполагаю, что подходы NFS и syslog не будут достаточно высокодоступными, чтобы справиться с загрузкой вашего журнала.

Согласно этой теме, S3 - лучший выбор для гарантированного хранения. Если вы пойдете по этому пути, обработка / поиск в ваших журналах может стать непростой задачей.

Одним из творческих вариантов было бы создание сервера / кластера MongoDB, возможно, предоставляемого через простой веб-сервис, для агрегирования огромного потока записей журнала с ваших серверов приложений n . Я использовал MongoDB для хранения и анализа некоторых довольно больших наборов данных метрик / транзакций (от десятков до сотен миллионов записей в день), и он работал превосходно.

Answer 2

если вы идете s3 для лог-файлов, что я бы посоветовал, если вы ожидаете значительный объем файлов журнала, затем используйте EMR, чтобы пролистать файлы журнала на s3, либо по требованию или в виде запланированной работы по эластичным каналам передачи данных.