Мы создаем веб-приложение с поддержкой AI, которое использует огромные модели памяти, которые в идеале должны загружаться в память только один раз в качестве глобальных переменных.
Эти переменные должны использоваться различными командами управления, которые выполняются как отдельные процессы и использовать фреймворк Django. И, конечно, команда runserver также обращается к этим глобальным переменным.
Эти модели загружаются внутри одного модуля commons , но поскольку мы порождаем разные процессы, давайте пока предположим два - runserver и process_tasks , эти модели загружаются дважды в память через модуль commons .
Есть ли способ загрузить эти модели централизованно и делить переменные между независимо порожденными процессами. Я знаю о многопроцессорном модуле в python и API-интерфейсе Manager, но не могу найти способ включить его в текущий сценарий.
Есть ли способ запустить автономный python процесс, который содержит эти переменные и сможет получить к ним доступ из нескольких других процессов?