У меня относительно простая линейная регрессия лямбда в AWS. Каждый экземпляр функции называется журналами отображения следующего:
/opt/python/sklearn/externals/joblib/_multiprocessing_helpers.py:38: UserWarning: [Errno 38] Function not implemented. joblib will operate in serial mode
warnings.warn('%s. joblib will operate in serial mode' % (e,))
Я подозреваю, что это связано с тем, что sklearn работает на лямбде (т. Е. "Без сервера") и пытается определить его возможности мультиобработки согласно этому вопросу и этой проблеме GH .
Я также понимаю из GH, что это не «исправляемая» проблема, она всегда будет происходить при развертывании с этими зависимостями на этом оборудовании. Я получаю ожидаемые результаты (хотя в настоящее время я использую максимальную по умолчанию минимальную лямбда-память 128 МБ).
Я стремлюсь контролировать предупреждения и знаю, есть ли способ:
- остановите sklearn в поисках многопроцессорной обработки, чтобы предотвратить выдачу предупреждения
- перехватить это конкретное предупреждение и предотвратить его передачу из моей функции в журналы Cloudwatch
- если оба варианта возможны, что было бы предпочтительнее с точки зрения архитектуры aws / python?