Фильтр с определенной постоянной датой, которая находится между двумя столбцами дат - scala

Question

У меня есть DF, который должен быть объединен с условием, и условие включает в себя дату, которая должна быть между двумя датами столбцов

DF.joinWith(DF1,"21-02-2012" between DF.StartDate and DF1.EndDate)

• Код выше - это псевдокод. Какя пишу то же самое в spark scala.

Answer 1

Использовать литерал:

import org.apache.spark.sql.lit

spark.conf.set("spark.sql.crossJoin.enabled", true)

DF.join(DF1, lit("21-02-2012").between(DF("StartDate"), DF1("EndDate")))