pyarrow hdfs.connect на windows - PullRequest
Новая
       36

pyarrow hdfs.connect на windows

0 голосов
/ 23 октября 2018

Я хочу использовать pyarrow для чтения и записи из hdfs.

Я установил hadoop на моей 64-битной системе Windows 10, как на: https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10 И установил pyarrow с pip.

Но если я хочу подключиться к hdfs в python, я получаю следующую ошибку: 

Python 3.5.0 (v3.5.0:374f501f4567, Sep 13 2015, 02:27:37) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import pyarrow
>>> pyarrow.hdfs.connect()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\TIKI_git\ai-core-python\venv\lib\site-packages\pyarrow\hdfs.py", line 183, in connect
    extra_conf=extra_conf)
  File "C:\TIKI_git\ai-core-python\venv\lib\site-packages\pyarrow\hdfs.py", line 37, in __init__
    self._connect(host, port, user, kerb_ticket, driver, extra_conf)
  File "pyarrow\io-hdfs.pxi", line 89, in pyarrow.lib.HadoopFileSystem._connect
  File "pyarrow\error.pxi", line 83, in pyarrow.lib.check_status
pyarrow.lib.ArrowIOError: Unable to load libjvm

Я проверил переменные пути, как описано в http://wesmckinney.com/blog/python-hdfs-interfaces/

Что я могу сделать, чтобыисправить эту проблему?Можно ли даже использовать функцию pyarrow.hdfs.connect в Windows?

Спасибо за помощь!

...