Как я могу прочитать текстовый файл из HDFS в Python и сохранить содержимое в строку?

Question

У меня есть файл .txt, сохраненный в HDFS, и я хочу прочитать его на Python и сохранить содержимое в строковую переменную. Как я могу это сделать?

Answer 1

вы можете использовать пакет pyhdfs для загрузки файла с сервера HDFS, а затем прочитать файл и загрузить его в строковую переменную

import pyhdfs
hdfsclient = pyhdfs.HdfsClient('HDFS_URL')

# to copy from HDFS SERVER
hdfsclient.copy_to_local(HDFS_source_file_path, LOCAL_target_file_path)

file = open(“local_file.txt”, “r”) 
String_var = file.read() 

# to copy to the HDFS SERVER
hdfsclient.copy_from_local(LOCAL_source_file_path, HDFS_target_file_path)