Мне нужно обучить ~ 2000 моделей. У меня есть сетка параметров, которая выглядит вот так, но намного больше:
params = {'dm': [0, 1], 'vector_size': [100, 200, 300]}
Цель состоит в том, чтобы использовать эту сетку параметров с mpi4py и slurm для распараллеливания обучения модели (без перекрестной проверки, поэтому я не могу используйте GridSearchCV).
Здесь есть шаблон для использования mpi4py . Он успешно работает на моей локальной машине, но я изо всех сил пытаюсь изменить его, чтобы использовать свою сетку параметров. объект конфигурации параметра для каждого рабочего, но я также читал, что я не должен разбрасывать больше объектов, чем есть процессов, и что наличие более 999 процессов может испортить ситуацию.
Как мы используем сетка параметров с mpi4py?