Я пытаюсь создать приложение на основе ML. Серверная сторона на python с помощью h2o, клиентская сторона находится на nodejs + frontend.
Серверная часть имеет следующую структуру:
- run.sh (скрипт, который принимает параметры со стороны клиента и запускает необходимый скрипт Python)
- preprocess.py
- анализ. py
- visualize.py
- load.py
- upload.py
Каждый скрипт содержит инициализацию кластера h20:
h2o.init()
h2o.no_progress()
...
...
h2o.cluster().shutdown()
exit(0)
Работает нормально, если только одинпроцесс запущен. Если я начну другой процесс - я скоро столкнусь с перегрузкой кластера, поскольку все вычисления хранятся внутри кластера на машине с h2o.
В настоящее время я пытался разделить процессы с помощью контейнеров Docker, чтобы каждый сценарий выполнялся в отдельном контейнере Docker, но я начинаю думать, что выбрал неправильный путь.
Если есть способразделить процессы? Как запуск кластеров на разных портах для каждого вызова. Так что остановка одного процесса не повлияет на другой запущенный процесс.
Или, может быть, мне следует использовать некоторые дополнительные технологии?
Любые советы приветствуются.