Сравнение значений столбца метки времени Spark

Question

Пример данных Я хочу отфильтровать строки, у которых date_time_begin меньше даты начала, и я пробовал это, но я не получаю никакого вывода.Я использую версию spark 1.6.2

 filterddata = joindedf.filter(joindedf("date_time_begin").gt(lit("str_date")))
 filterddata.show()

Answer 1

Если оба columns имеют одинаковый datatype, это должно работать.

val filterddata = joindedf.filter(joindedf("date_time_begin").gt(joindedf("str_date")))

lit используется для преобразования литерального значения в column.

Надеюсь, это помогло!