Как бы вы управляли и документировали большой поток данных, включая несколько сценариев PHP и python? - PullRequest
0 голосов
/ 28 апреля 2020

Я создал веб-приложение поверх MySQL хранилища данных.

Данные поступают из нескольких источников (csv, crawlers, api) и требуют выполнения нескольких сценариев PHP, python сценарии и MySQL запросы на правильную очистку.

Некоторые сценарии могут занять несколько минут, а другие - несколько часов.

Это стало немного грязно, и я собираюсь создать веб-интерфейс для мониторинга и документирования каждого шага с возможностью выполнения сценариев или запросов по отдельности.

Это хорошая идея? Будете ли вы предлагать какие-либо существующие услуги, которые могли бы это обеспечить?

...