Мой вопрос похож на этот вопрос , но имеет различие.
У меня есть две модели model_1.scl и model_2.pkl, сохраненные в HDFS.
pickle.load(open('model_1.scl', 'rb'))
pickle.load(open('model_2.pkl', 'rb'))
Для текстового файла я могу просто использовать:
sc.textFile('hdfs://abc_cluster/user/user_1/textfile.txt').collect()
Но как насчет нетекстового файла, такого как файл моей модели? Это вызовет сбой нетекстового файла для pickle.load ()?
Любой метод для чтения файла модели, хранящегося в HDFS?