Я хочу вывести схему из большого набора данных (скажем, данные за 6 месяцев) и использовать ее для загрузки небольших наборов данных (ежечасно).
Как вывести схему, сохранить ее в файл и использовать сохраненную схему для загрузки данных?
Я научился сохранять схему в файл из Как записать схему DataFrame в файл в Scala
Как использовать ту же схему, хранящуюся в файлезагрузить другой набор данных?Подведение итогов 1) Загрузите данные за больший период времени, чтобы я собрал все доступные поля. 2) Сохраните выведенную схему в файл (одноразовое действие). 3) Используйте сохраненную схему для загрузки меньших наборов данных