Существуют ли затраты, связанные с преобразованием кадра данных Koalas в кадр данных Spark? - PullRequest
1 голос
/ 18 февраля 2020

Я знаю, что pandas работает "под капотом" с numpy массивами, хранящимися в словарях. В отличие от этого, Koalas работает с базовой платформой Spark. Означает ли это, что нет никакой дополнительной платы за переключение между кадрами данных Koalas и PySpark?

#convert to pyspark dataframe
df.to_spark()

#convert to kolas frame
koalas_df = ks.DataFrame(df)
...