Pyspark awaitResult ошибка во внутреннем соединении dataframe - PullRequest
Новая
       8

Pyspark awaitResult ошибка во внутреннем соединении dataframe

0 голосов
/ 21 мая 2018

Запуск автономного spark-2.3.0-bin-hadoop2.7 внутри док-контейнера

  • df1 = 5 строк
  • df2 = 10 строк

  • Набор данных очень маленький.

    df1 schema: Dataframe[id:bigint, name:string] df2 schema: Dataframe[id:decimal(12,0), age: int]

Внутреннее соединение 

df3 = df1.join(df2, df1.id == df2.id, 'inner')

df3 schema: Dataframe[id:bigint, name:string, age: int]

При выполнении df3.show(5) возникает следующая ошибка 

Traceback (most recent call last):   File "<stdin>", line 1, in <module>   File "/usr/apache/spark-2.3.0-bin-hadoop2.7/python/pyspark/sql/dataframe.py", line 466, in collect
    port = self._jdf.collectToPython()   File "/usr/local/lib/python3.6/dist-packages/py4j/java_gateway.py", line 1257, in __call__
    answer, self.gateway_client, self.target_id, self.name)   File "/usr/apache/spark-2.3.0-bin-hadoop2.7/python/pyspark/sql/utils.py", line 63, in deco
    return f(*a, **kw)   File "/usr/local/lib/python3.6/dist-packages/py4j/protocol.py", line 328, in get_return_value
    format(target_id, ".", name), value) py4j.protocol.Py4JJavaError: An error occurred while calling o43.collectToPython. : org.apache.spark.SparkException: Exception thrown in awaitResult:
        at org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:205)
        at org.apache.spark.sql.execution.exchange.BroadcastExchangeExec.doExecuteBroadcast(BroadcastExchangeExec.scala:136)

Попытка установить время вещания -1 в соответствии с этим предложением , но получила ту же ошибку 

conf = SparkConf().set("spark.sql.broadcastTimeout","-1")

1 Ответ

0 голосов
/ 06 июня 2018

Я использовал несовместимую версию JRE с Spark 2.3.

Ошибка устранена после обновления JRE с помощью openjdk-8-jre в образе Docker

...