Я добавил два кадра данных к некоторому местоположению s3, и при чтении одного из столбцов в выводе df отсутствует.
Тот же кусок кода работает полностью в spark-2.0, но в столбце spark-2.4 отсутствует.
Ничего не изменилось в коде. Я просто пробую один и тот же код в двух разных версиях spark.