Написание паркета для HDFS в Python - PullRequest
Новая
       41

Написание паркета для HDFS в Python

0 голосов
/ 10 сентября 2018

Я учусь использовать формат Паркет (благодаря этой ссылке https://arrow.apache.org/docs/python/parquet.html). Итак, я пытаюсь записать файл Parquet в HDFS, но он не работает. У меня есть следующий код: 

`import pyarrow as pa
host='my.host'
port=8020
user='username'
df = pd.DataFrame({'one': [-1, np.nan, 2.5],'two': ['foo', 'bar', 'baz'],'three': [True, False, True]}, index=list('abc'))
fs = pa.hdfs.connect(host, port, user=user)`

И эта последняя строка дала мне эту ошибку: 

"FileNotFoundError: [Errno 2] No such file or directory: 'hadoop': 'hadoop'"

Я не нашел, как решить эту ошибку ... Так что, если у кого-то есть идея ...

Спасибо, Неир

...