Не могу импортировать пиарроу в pyspark - PullRequest
Новая
       60

Не могу импортировать пиарроу в pyspark

4 голосов
/ 24 февраля 2020

Я пытаюсь использовать pyarrow в pyspark. Однако, когда я пытаюсь выполнить 

import pyarrow

, я получаю следующую ошибку 

    In [1]: import pyarrow
---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
<ipython-input-1-f1048abcb32d> in <module>
----> 1 import pyarrow

~/opt/anaconda3/lib/python3.7/site-packages/pyarrow/__init__.py in <module>
     47 import pyarrow.compat as compat
     48
---> 49 from pyarrow.lib import cpu_count, set_cpu_count
     50 from pyarrow.lib import (null, bool_,
     51                          int8, int16, int32, int64,

ImportError: dlopen(/Users/user/opt/anaconda3/lib/python3.7/site-packages/pyarrow/lib.cpython-37m-darwin.so, 2): Library not loaded: @rpath/libboost_filesystem.dylib
  Referenced from: /Users/user/opt/anaconda3/lib/libarrow.15.1.0.dylib
  Reason: image not found

Я попытался установить pyarrow в среде conda, понизив ее до python 3.6, но безуспешно.

У кого-нибудь есть предложения по решению проблемы?

Ответы [ 2 ]

3 голосов
/ 24 февраля 2020

Похоже, PyArrow был установлен неправильно. Поэтому, пожалуйста, попробуйте очистить старые пакеты и затем снова установить pyarrow, используя следующую команду: 

   {{ conda install -c conda-forge pyarrow }}
1 голос
/ 17 апреля 2020

Принятый ответ не сработал для меня, так как я нахожусь в MacO, я исследовал, и тот, который помог мне, был этот . Для тех, у кого такая же проблема, но в MacOS. 

brew update && brew upgrade
brew switch openssl 1.0.2s

Работало у меня Каталина 10.15.4

...