Мне нужно многократно вычислять очень большие массивы python, основываясь на небольшом входе и очень большом постоянном объеме, если данные хранятся на диске. Я могу успешно распараллелить его, разделив объем входных данных и присоединив ответ. Возникает проблема: отправка идентичной массы данных в пул происходит слишком медленно. Более того, я удваиваю необходимую память. В идеале я хотел бы прочитать данные в потоке из файла и сохранить его для многократного повторного использования.
Как мне это сделать? Я могу думать только о создании нескольких серверов, которые будут прослушивать запросы из пула. Как-то это выглядит неестественным решением довольно распространенной проблемы. Мне не хватает лучшего решения?
С наилучшими пожеланиями, Владимир