Как исправить «ImportError: PyArrow> = 0.8.0 должен быть установлен; однако он не был найден.»? - PullRequest
Новая
       16

Как исправить «ImportError: PyArrow> = 0.8.0 должен быть установлен; однако он не был найден.»?

1 голос
/ 27 марта 2019

Я использую PySpark 2.4.0, и когда я выполнил следующий код в pyspark: 

$ ./bin/pyspark
Python 2.7.16 (default, Mar 25 2019, 15:07:04)
...
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.4.0
      /_/

Using Python version 2.7.16 (default, Mar 25 2019 15:07:04)
SparkSession available as 'spark'.
>>> from pyspark.sql.functions import pandas_udf
>>> from pyspark.sql.functions import pandas_udf, PandasUDFType
>>> from pyspark.sql.types import IntegerType, StringType
>>> slen = pandas_udf(lambda s: s.str.len(), IntegerType())
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/x/spark/python/pyspark/sql/functions.py", line 2922, in pandas_udf
    return _create_udf(f=f, returnType=return_type, evalType=eval_type)
  File "/Users/x/spark/python/pyspark/sql/udf.py", line 47, in _create_udf
    require_minimum_pyarrow_version()
  File "/Users/x/spark/python/pyspark/sql/utils.py", line 149, in require_minimum_pyarrow_version
    "it was not found." % minimum_pyarrow_version)
ImportError: PyArrow >= 0.8.0 must be installed; however, it was not found.

Как это исправить?

1 Ответ

1 голос
/ 27 марта 2019

Сообщение об ошибке в данном случае вводит в заблуждение, pyarrow не установлено.

Из официальной документации Руководство по Spark SQL (что привело к Установка PyArrow ), вы должны просто выполнить одну из следующих команд: 

$ conda install -c conda-forge pyarrow

или 

$ pip install pyarrow
...