Какие все возможные ключи я могу передать в метод option класса Spark DataFrameReader? - PullRequest
0 голосов
/ 04 мая 2020

Spark имеет классы DataFrameReader и DataFrameWrite, которые используются для чтения и записи в указанный c источник данных.

Мы можем указать различные свойства, специфицирующие c для операции чтения и записи, используя метод option следующим образом.

spark.read
          .format("csv")
          .option("header", true)
          .option("sep", ",")
          .load("file:/home/debajdas/ab_initio/input/first_input_file.S1")
          .cache()

Я проверил определение метода опции в DataFrameReader, классифицировал и понял, что просто хранит все свойства и не проверяет в одном и том же методе.

определение метода опции в классе DataFrameReader

def option(**key: String**, value: String): DataFrameReader = {
    this.extraOptions += (key -> value)
    this
  }

На самом деле я хотел получить список всех допустимых ключей, которые я могу передать в методе опции, Даже если кто-то может указать мне код, это также будет полезно.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...