PySpark - как взять схему из одного кадра данных и применить ее к другому? - PullRequest
0 голосов
/ 10 марта 2020

У меня DF1 с правильной схемой (имена столбцов и типы данных).

Как применить схему из DF1 в DF2? (даже если в DF2 он уже есть)

Я пытался df2 = sqlContext.createDataFrame(df2.rdd, df1.schema), и это меняет схему, но может привести к ошибке для типов данных:

TypeError: field ID: LongType can not accept object 8377813.0 in type <class 'float'>

Это так? лучше бросить? Если так - как это сделать для каждого столбца?

Спасибо.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...