Я пишу простую записную книжку Azure Databricks на Python, которая должна загружать XML-файл с ftp-хоста, используя spark-sftp connector .Я получаю com.jcraft.jsch.JSchException: ошибка аутентификации .Загрузка одного и того же файла из того же места с использованием одного и того же имени / пароля из программы на C #, работающей вне искрового кластера, всегда успешна.Возможно, мне не хватает какой-нибудь дополнительной опции spark-sftp?Или это вызвано тем, что ftp-хост отклоняет соединения от неизвестных машин?(У меня нет прямого доступа к хосту ftp, чтобы проверить это).Мой код Databricks выглядит следующим образом
from pyspark.sql import functions as f
from pyspark.sql.types import *
spark = SparkSession.builder.getOrCreate()
df = spark.read\
.format("com.springml.spark.sftp")\
.option("host", "x.y.z.com")\
.option("username", "NAME")\
.option("password", "PSW")\
.option("port", 22)\
.option("inferSchema", True) \
.option("fileType", "xml")\
.load("/path/file.xml")