Как преобразовать искровой фрейм данных в фрейм данных koalas блока данных?

Question

Я знаю, что вы можете преобразовать фрейм данных Spark df в фрейм данных Pandas с помощью

df.toPandas ()

Однако это занимает очень много времени, поэтому я узнал о пакете koala в блоках данных, который мог бы позволить мне использовать данные в качестве фрейма данных pandas (например, возможность использовать scikit learn) без фрейма данных pandas. У меня уже есть искровой фрейм данных, но я не могу найти способ превратить его в коаловый.

Answer 1

Чтобы перейти прямо из фрейма данных pyspark (я предполагаю, что именно с этим вы работаете), в фрейм данных koalas вы можете использовать:

koalas_df = ks.DataFrame(your_pyspark_df)

Здесь я импортировалкоалы как кс.