Spark имеет классы DataFrameReader и DataFrameWrite, которые используются для чтения и записи в указанный c источник данных.
Мы можем указать различные свойства, специфицирующие c для операции чтения и записи, используя метод option следующим образом.
spark.read
.format("csv")
.option("header", true)
.option("sep", ",")
.load("file:/home/debajdas/ab_initio/input/first_input_file.S1")
.cache()
Я проверил определение метода опции в DataFrameReader, классифицировал и понял, что просто хранит все свойства и не проверяет в одном и том же методе.
определение метода опции в классе DataFrameReader
def option(**key: String**, value: String): DataFrameReader = {
this.extraOptions += (key -> value)
this
}
На самом деле я хотел получить список всех допустимых ключей, которые я могу передать в методе опции, Даже если кто-то может указать мне код, это также будет полезно.