Рекомендатель журнала / хранилища данных - PullRequest
0 голосов
/ 10 июня 2019

Я ищу рекомендацию для следующего сценария: у нас есть служба, которая на высоком уровне состоит из интерфейсного веб-приложения, обслуживающего запросы API и веб-интерфейса (последние менее важны), - декомпозиция,помещение их в качестве задач в очередь для обработки, а также ряд рабочих служб, потребляющих задачи из очереди и обрабатывающих их.Клиенты API будут опрашивать результаты асинхронно.

Мы должны иметь возможность регистрировать фрагменты информации по пути (начиная с исходного запроса, через промежуточные выводы и заканчивая конечными результатами), чтобы к ним можно было обращаться позже, если это необходимо (в основном, для устранения неисправностей, произошедших неправильно).для данного запроса).

В конечном итоге нам нужно:

  • Для использования в качестве безопасного хранилища информации, связанной с ведением журнала и краткосрочным аудитом,
  • Низкие издержки вставки:
    • (Низкая) вставка с постоянным временем, либо действительно неблокируемая, либо фактически неблокирующая (гарантированно быстрая),
    • Очень частая вставка - представьте несколько вставок на один API CFвызов,
  • Извлечение, используемое значительно реже, может быть медленным,
  • Элементы должны быть извлечены по крайней мере по идентификатору, но ...
  • Полезные данные являются текстовыми или бинарными
    • Возможность полнотекстового поиска была бы плюсом,
    • Понимание структуры текста, например, возможность запроса JSON элементов - это приятное и приятное,
  • Политики хранения данных, встроенные или простые в реализации.

«Безопасный» означает, что мыПри обработке личной информации в нескольких странах применяются обычные правила / стандарты.

Это может быть программное обеспечение (с открытым исходным кодом, пригодное для использования в коммерческой среде), которое мы будем размещать самостоятельно, или сервис Amazon AWS.

1 Ответ

0 голосов
/ 12 июня 2019

checkout, в качестве основы для вашего приложения, sherlock на Sourceforge.net, это реализация Log4J с открытым исходным кодом, которую вы можете изменить по своему усмотрению, т. Е. Контейнеризировать сервер безголового tomcat, это «цепочка поставок» «C2» совместимый сервер замены Rsyslog для сбора данных syslog и syslogrelay, который сначала сохраняет журналы в виде плоских файлов на источник, затем обрабатывает и выводит данные журнала в базу данных mysql, после чего существует более старый веб-клиент с поддержкой регулярных выражений для поиска / фильтрации данные, чтобы вы могли получить в журнале данных для судебной экспертизы ..

Ребята, которые соединили это со мной, пришли из Platespin (позже проданного Novell), на самом деле команда, которая создала этот код, успешно продала дерьмовую работу за приличные деньги прямо в то время, когда они его создавали, а затем приступила к работе. для Tibco (позже Mulesoft) и RIM (Blackberry, а теперь BMO) ... так что его твердый код

вот ссылка ...

https://sourceforge.net/projects/sherlock/

r2

...