У меня S3 bucket с этой структурой папок. Каждый пользователь может иметь свои собственные инструменты, и я могу получить файл Logsta sh .conf для каждого.
|-- user_1
|-- workflow_1
|--tool_1_output.txt
|--tool_2_output.txt
|-- user_2
|-- workflow_1
|--tool_11_output.txt
|--tool_22_output.txt
...
|-- user_1000
|-- workflow_1
|--tool_123_output.txt
|--tool_234_output.txt
Идея состоит в том, чтобы использовать Logsta sh Шаблон распространителя , но Я все еще сомневаюсь, что лучше всего подходит для настройки. Приоритеты: сохранение надежности Logsta sh и наличие единого .conf для каждого инструмента. Я пришел к двум проектам:
- В
pipelines.yml есть: - Дистрибьюторский конвейер с правилами и логами c, отвечающий за отправку файлов в соответствующий конвейер.
- Инструменты трубопроводов. Каждый инструмент должен иметь
pipeline.id и path.config
Таким образом, .config для каждого инструмента изолирован и независим. Моя главная проблема заключается в том, что произойдет, если я буду часто обновлять pipelines.yml новыми инструментальными конвейерами и мне потребуется Logsta sh, чтобы работать без сбоев. Может ли это быть проблемой в более широком масштабе?
В pipelines.yml есть:
- Пользовательские конвейеры с
pipeline.id и path.config.
Таким образом каждый пользователь имеет собственный файл .conf со всеми правилами и логами разбора c для каждого инструмента, который он использует, и pipelines.yml перезагружается только с новым пользователем. Но в этом случае инструменты не имеют собственных .conf файлов.
Буду признателен за любую идею или подход, для такого рода проблемы.