У меня есть конвейер, который обрабатывает 1000 изображений.Каждое изображение проходит 4-х шаговый процесс для создания входных данных для модели.Таким образом, есть 4000 задач по подготовке данных плюс финальная задача прогнозирования.Всего 4001 задач.
luigi распараллеливает 4000 задач по подготовке данных, поэтому 4 задачи выполняются одновременно на 4 процессорах.Для этого я установил OMP_THREAD_LIMIT = 1, иначе он зависает из-за конфликта между luigi и OMP.
В финальной задаче прогнозирования используется pytorch.Это единственная задача luigi, но она распараллеливается Pytorch через OMP.Поэтому я сбрасываю OMP_THREAD_LIMIT перед запуском задачи.
Это работает, но во время первых 4000 задач я получаю сотни / тысячи предупреждающих сообщений ..... "OMP: Warning # 96 Невозможно сформировать команду из 4 потоков, используя1 вместо "и" OMP: подсказка об отмене установки ...... OMP_THREAD_LIMIT ".
Как отключить эти сообщения?Или есть какой-то другой способ временно отключить OMP без OMP_THREAD_LIMIT?