spark v2.3.3 в amazonlinux с версиями пакетов yum версии 2019a-1.71.amzn1 (tzdata.noarch и tzdata-java.noarch)
с использованием spark-shell
java.lang.IllegalArgumentException: Illegal pattern component: XXX
at org.apache.commons.lang3.time.FastDateFormat.parsePattern(FastDateFormat.java:577)
Нос 2018c-1.70.amzn1 версией пакетов yum (tzdata.noarch и tzdata-java.noarch) это работает:
peopleDFCsv: org.apache.spark.sql.DataFrame = [name: string, age: int ... 1 more field]
я знаю, что обходной путь - добавить параметр timestampFormat