Как я могу хранить данные от датчика Arduino в Hadoop HADPS в режиме реального времени - PullRequest
Новая
       13

Как я могу хранить данные от датчика Arduino в Hadoop HADPS в режиме реального времени

1 голос
/ 22 мая 2019

Я работаю над проектом, который использует hdfs, и я хочу сохранять данные arduino в hadps hadoop каждые 3 с в файле CSV.

Пример файла CSV:

'temp1', 'datetime1', 'location1'

'temp2', 'datetime2', 'location2'

'temp3', 'datetime3', 'location3'

и каждый3s я хочу добавить строку в этот CSV-файл.

я уже пробовал код на python, который читает из последовательного порта arduino и записывает в базу данных nosql, и я пытался сделать то же самое, но я обнаружил некоторые проблемыв пути hdfs. 

# Creating a simple Pandas DataFrame
liste_temp = [temp_string,datetime.datetime.now(),temperature_location]
df = pd.DataFrame(data = {'temp' : liste_temp})
# Writing Dataframe to hdfs
with client_hdfs.write('/test/temp.csv', encoding = 'utf-8') as writer:
                df.to_csv(writer)

Ошибка: 

File "templog.py", line 33, in <module> with client_hdfs.write('/test/temp.csv', encoding = 'utf-8') as writer: File "C:\Users\nouhl\AppData\Local\Programs\Python\Python37-32\lib\site-packages\hdfs\client.py", line 460, in write raise
InvalidSchema("No connection adapters were found for '%s'" % url) requests.exceptions.InvalidSchema: No connection adapters were found for 'hdfs://localhost:9870/webhdfs/v1/test/temp.csv
...