MySQL DATE_FORMAT против SparkSQL date_format

Question

У меня есть sql statment, который мне нужен для запуска в SparkSQl. Однако я не могу правильно отформатировать дату в spark
Mysql

select DATE_FORMAT(NOW(),'%Y-%m-01')

SparkSQL

spark.sql("""
  SELECT date_format(current_date(),'yyyy-MM-01')"""
).show()

пытается достичь, взять любую дату и преобразовать в первый день месяца

Answer 1

В конце я использовал это, но я уверен, что это лучшее решение, если у вас есть, не стесняйтесь поделиться

spark.sql("""
  SELECT date_add( last_day( add_months(CAST(current_timestamp() as DATE), -1 ) ),1)
  """
).show()