У меня есть удаленный сервер и среда Hadoop, прошедшая проверку подлинности Kerberos.
Я хочу скопировать файлы с удаленного сервера на мой сервер для обработки в Spark с использованием Sparksftp.
На данный момент я пытаюсь скопировать файлы на моем сервере (не используя удаленный сервер) из местоположения 1 в местоположение 2 на том же сервере.
Я уже пробовал ниже код:
`def writeToSFTP(df: DataFrame, path: String) = {
df.write
.format("com.springml.spark.sftp")
.option("host", "hostname.test.fr")
.option("username", "test_hostname")
.option("fileType", "csv")
.option("hdfsTempLocation","/user/currentuser/")
.option("delimiter", ",")
.save(path)
`
и в команде spark submit я указал следующие обязательные параметры:
--conf 'spark.driver.extraJavaOptions=-Djava.security.krb5.conf=/path/krb5.conf' \
--keytab=/path/keytabfile.keytab \
--principal=user@ABC.COM \
ошибка: исключение в потоке "main" com.jcraft.jsch.JSchException: ошибка аутентификации