Я только что установил и настроил Python и Spark на моей рабочей машине.Я также установил уровень ведения журнала на WARN в файле log4j.properties.
Проблема в том, что всякий раз, когда я запускаю экземпляр pyspark или отправляю скрипт (как показано ниже), он бесконечно начинает показывать следующее предупреждение:
C:\Users\<username>\Documents\Codes>spark-submit t0001-test.py
18/09/29 00:20:59 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
18/09/29 00:21:09 WARN Utils: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.
18/09/29 00:21:10 WARN HttpParser: bad HTTP parsed: 400 Unknown Version for HttpChannelOverHttp@5b518fa2{r=0,c=false,a=IDLE,uri=null}
18/09/29 00:21:10 WARN HttpParser: bad HTTP parsed: 400 Unknown Version for HttpChannelOverHttp@67743042{r=0,c=false,a=IDLE,uri=null}
18/09/29 00:21:10 WARN HttpParser: bad HTTP parsed: 400 Unknown Version for HttpChannelOverHttp@727909f{r=0,c=false,a=IDLE,uri=null}
18/09/29 00:21:10 WARN HttpParser: bad HTTP parsed: 400 Unknown Version for HttpChannelOverHttp@3f990b13{r=0,c=false,a=IDLE,uri=null}
18/09/29 00:21:10 WARN HttpParser: bad HTTP parsed: 400 Unknown Version for HttpChannelOverHttp@130ce5df{r=0,c=false,a=IDLE,uri=null}
18/09/29 00:21:10 WARN HttpParser: bad HTTP parsed: 400 Unknown Version for HttpChannelOverHttp@63132e36{r=0,c=false,a=IDLE,uri=null}
18/09/29 00:21:10 WARN HttpParser: bad HTTP parsed: 400 Unknown Version for HttpChannelOverHttp@36d1a57d{r=0,c=false,a=IDLE,uri=null}
18/09/29 00:21:10 WARN HttpParser: bad HTTP parsed: 400 Unknown Version for HttpChannelOverHttp@6a1b5367{r=0,c=false,a=IDLE,uri=null}
18/09/29 00:21:11 WARN HttpParser: bad HTTP parsed: 400 Unknown Version for HttpChannelOverHttp@6985fa4b{r=0,c=false,a=IDLE,uri=null}
18/09/29 00:21:16 WARN HttpParser: bad HTTP parsed: 400 Unknown Version for HttpChannelOverHttp@64c9400c{r=0,c=false,a=IDLE,uri=null}
Скрипт также работает и выводит правильные значения, но я вижу, что эти предупреждения появляются во время работы.Я выполнил те же действия, что и на своем ноутбуке, где эта проблема не возникала.Я что-то пропустил?
Настройка: Python 3.7.0;Искра 2.3.2;Windows Server 2012 R2