Это немного общий вопрос, но я хотел знать несколько разных подходов к обмену данными между машинами.
По сути, у меня есть процесс, который генерирует большую справочную таблицу (часто более 10 гигабайт Python dict), а затем другие машины выполняют независимые процессы, но ссылаются на эту таблицу.Диктовка не меняется после того, как она создана, и все остальные машины просто обращаются к ней для выполнения своей работы.Я склоняюсь к тому, чтобы сохранить все это в базе данных, а затем заставить все серверы запрашивать сервер, чтобы получить эти данные.Я просто подозреваю, что это может иметь несколько запросов 10gig + одновременно, может быть не лучшим способом сделать это.Я думал о плоском файле или об его передаче с помощью инструмента распространения.
Есть ли другие способы поделиться этим python-диктом между несколькими машинами (общие подходы хороши, но я использую python, так что любые предложения библиотекибудет работать тоже)?