Как игнорировать искры-отправлять предупреждения для pyspark - PullRequest
Новая
       92

Как игнорировать искры-отправлять предупреждения для pyspark

0 голосов
/ 19 октября 2018

Когда я отправляю свой файл python на свечу, как это 

spark-submit driver.py

Начинает отображаться много предупреждений, связанных с методом печати python 2. 

18/10/19 01:37:52 WARN ScriptBasedMapping: Exception running /etc/hadoop/conf/topology_script.py 10.5.1.112
ExitCodeException exitCode=1:   File "/etc/hadoop/conf/topology_script.py", line 63
    print rack
             ^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(rack)?

Есть ли способ, подобныйspark-submit driver.py -W ignore ??

>> Я знаю, что это предупреждение для python2, мой код написан на python3, поэтому я просто хочу игнорировать предупреждения python2.Эти предупреждения начинают отображаться еще до того, как контроль переходит к моему коду.Потому что spark-submit запускается сначала, а затем загружает файлы python.

Ответы [ 2 ]

0 голосов
/ 19 октября 2018

Если вы хотите игнорировать предупреждение Python, возможно, это может сработать: 

import warnings
warnings.simplefilter(action='ignore', category=YourWarningCategory)
0 голосов
/ 19 октября 2018

Вы используете Python 3, но пишете на Python 2?

Пожалуйста, обратитесь к этому вопросу: Что означает «Синтаксическая ошибка: отсутствуют скобки при вызове« print »» в Python?

Вы также можете обратиться к Сконфигурируйте ведение журнала в Apache Spark , чтобы установить уровень журнала по умолчанию с помощью файла log4j.properties.

Вы также можете установить уровень лога, когда вы звоните spark-submit или внутри кода, используя sc.setLogLevel("WARN")

Еще один вопрос SO для справки: Как остановить отображение сообщений INFO при искреконсоль?

...