Невозможно отфильтровать файл паркета, используя условие where .... error "unsafe symbol Unstable" - PullRequest
Новая
       83

Невозможно отфильтровать файл паркета, используя условие where .... error "unsafe symbol Unstable"

0 голосов
/ 27 ноября 2018

Я не могу обработать файл партера.

У меня есть фрейм данных с "family_id" типа String и "lastStagedTs" типа Date.например, 2018-11-30 в формате.

Я пытаюсь отфильтровать файл паркета, как показано ниже, т.е. выбрать данные, размер которых превышает 2018-11-23 

  val lastRun:String = "2018-11-23"  
  val parquetDf = sparkSession.read.format("parquet")
                                .load(parquetFile) 
                                .select("family_id", "lastStagedTs")
                                .where($"lastStagedTs" > lastRun)

Когда яработая над строкой кода, я получаю следующую ошибку: 

unsafe symbol Unstable (child of <none>) in runtime reflection universe
    at scala.reflect.internal.Symbols$Symbol.<init>(Symbols.scala:205)
    at scala.reflect.internal.Symbols$TypeSymbol.<init>(Symbols.scala:3030)
...