Вход в Amazon S3

Question

Кто-нибудь создал или кто-нибудь знает, как создать систему ведения журналов, которая размещает файлы журналов на Amazon S3?

Мы создаем приложение SaaS, и, естественно, мы планируем иметьмиллионы серверов и клиентов.Я хотел бы упростить всю структуру регистрации.В настоящее время мы используем SLF4j для ведения журнала и Logback в качестве фактической реализации ведения журнала.

Я думаю, что мы могли бы добавить другую реализацию, которая бы накапливала сообщения журнала в памяти, сжимала их и затем загружала их в S3,Если соединение S3 было медленным или медленным, реализация поставила бы файлы в очередь на диск.Вроде как писец в Facebook.

Я предполагаю, что мне понадобится четыре или пять дней, чтобы написать и проверить это.Если есть другая реализация, я бы хотел знать об этом.

Answer 1

Есть плагин для fluentd, который хранит файлы в s3. (Fluentd - хороший "сборщик лог-файлов")

Подробнее об этом здесь: http://docs.fluentd.org/articles/apache-to-s3

Если соединение s3 замедлено или медленное, буфер файлов Fluentd будет буферизовать вывод для тебя.

Answer 2

Я искал что-то подобное.Я уже использую winston.js для целей ведения журналов, но я обнаружил этот плагин, который позволяет сохранять ваши журналы в AWS S3.( Winston-S3 ) Я еще не пробовал, но скоро сделаю.

Нетрудно показать эти журналы на странице администратора.

Answer 3

Я искал в Google тот же вопрос.Но, видимо, мне немного лучше.Я знаю, как войти в S3.Не существует готового решения.

Я предлагаю что-то вроде предохранителя для s3 для монтирования вашего системного журнала: https://github.com/s3fs-fuse/s3fs-fuse

Теперь все, что вам нужно, это смонтировать его также в вашемсистема парсера журналов, которая может быть любой из готовой системы, которая может читать журналы из каталога.

Это то, что я придумал.

То, что я все еще ищуперед внедрением - проблема производительности такой регистрации в S3, так как у AWS есть свои проблемы.Был обсужден вопрос о настройке размера блока / файла для повышения производительности и снижения стоимости чтения / записи.Надеюсь, это поможет другой потерянной душе.