Я борюсь с самыми первыми шагами в интерфейсе моей функциональной установки hadoop с python.Вот мой основной узел (локальная сеть).
Вот что происходит, когда я пытаюсь добраться до моего основного узла:
import pyarrow as pa
pa.hdfs.connect("192.168.0.37",20500)
File "/usr/local/lib/python3.5/dist-packages/pyarrow/hdfs.py", line 181, in connect
kerb_ticket=kerb_ticket, driver=driver)
File "/usr/local/lib/python3.5/dist-packages/pyarrow/hdfs.py", line 35, in __init__
_maybe_set_hadoop_classpath()
File "/usr/local/lib/python3.5/dist-packages/pyarrow/hdfs.py", line 134, in _maybe_set_hadoop_classpath
classpath = subprocess.check_output([hadoop_bin, 'classpath', '--glob'])
File "/usr/lib/python3.5/subprocess.py", line 626, in check_output
**kwargs).stdout
File "/usr/lib/python3.5/subprocess.py", line 693, in run
with Popen(*popenargs, **kwargs) as process:
File "/usr/lib/python3.5/subprocess.py", line 947, in __init__
restore_signals, start_new_session)
File "/usr/lib/python3.5/subprocess.py", line 1551, in _execute_child
raise child_exception_type(errno_num, err_msg)
FileNotFoundError: [Errno 2] No such file or directory: 'hadoop'
Я не уверен, что понимаю, что я делаю неправильно, и я обнаружил эту проблему во многих различных отчетах.Я устанавливаю переменные окружения в соответствии с документацией .Вот конец моего .bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
export HADOOP_HOME=/home/david/Apps/hadoop
export CLASSPATH='$HADOOP_HOME/bin/hdfs classpath --glob'
Кажется, что я получаю различные ошибки при запуске этого сценария непосредственно с моего главного узла.Означает ли это, что я не могу использовать этот скрипт в качестве клиентского скрипта?Я пропустил шаг?
Спасибо.