Я проводил некоторые тесты с Pyspark и наткнулся на странную вещь - исполнители Spark, кажется, останавливают выполнение без сбоев после получения относительно безвредных предупреждений из кода Python.В моем случае пришло предупреждение от Панд, уведомляющее меня о том, что некоторые методы устарели.
Итак, вопрос, почему это происходит, и какие настройки Spark можно использовать, чтобы избежать этого?
- искра 2.3.0 при EMR
- python 2.7.13
- панд: 0.23.0
Предупреждающее сообщение:
warning: 'FutureWarning: Method .as_matrix will be removed in a future version. Use .values instead'
Также кажется, что это происходит не сразу после первого предупреждения, полученного исполнителями, а скорее после того, как была достигнута некоторая критическая масса (в моем случае, вероятно, несколько десятков предупреждений на исполнителя).