Я применяю тип данных для каждого column во фрейме данных, как показано ниже
column
[StructField('name',StringType(),True), StructField(‘dob’,DateType(),True)]
Есть ли в любом случае упоминание формата даты YYYY/MM/DD в приведенном выше утверждении?
YYYY/MM/DD
Извините, но нет, вы не можете, и формат даты по умолчанию следующий: ГГГГ-ММ-ДД , как сказано в документации apache spark :
Тип даты, поддерживающий "0001-01-01" - "9999-12-31".