У меня есть кластер High Concurency с включенной интеграцией Active Directory.Время выполнения: последняя стабильная (Scala 2.11), Python: 3.
Я смонтировал Azure Datalake, и когда я хочу прочитать данные, всегда в первый раз после запуска кластера я получаю:
com.databricks.backend.daemon.data.client.adl.AzureCredentialNotFoundException: Could not find ADLS Gen1 Token
При повторном запуске все работает нормально.Я читаю данные следующим образом:
df = spark.read.option("inferSchema","true").option("header","true").json(path)
Есть идеи, что не так?
Спасибо!Томек