Я работаю в scala и среде искры, где я хочу прочитать паркетный файл. Прежде чем читать, я хочу проверить, существует файл или нет. Я пишу следующий код в блокноте jupyter, но он не работает - это означает, что он не показывает никакого фрейма, потому что функция testDirExist возвращает false
import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.Path
val hadoopfs: FileSystem = FileSystem.get(spark.sparkContext.hadoopConfiguration)
def testDirExist(path: String): Boolean = {
val p = new Path(path)
hadoopfs.exists(p) && hadoopfs.getFileStatus(p).isDirectory
}
val pt = "abfss://container@account.dfs.core.windows.net/blah/blah/blah
val exists = testDirExist(pt)
if(exists)
{
val dataframe = spark.read.parquet(pt)
dataframe.show()
}
Однако следующий код работает. Он показывает фрейм данных
val k = spark.read.parquet("abfss://container@account.dfs.core.windows.net/blah/blah/blah)
k.show()
Может кто-нибудь помочь мне, как я могу проверить, существует файл или нет?
Спасибо