, пожалуйста, проверьте ниже код, который не работает. Также есть способ, которым мы можем использовать спарк dataframe в методе pandas.cut
df_selected = df2.select(var.col_name)
df_selected.printSchema()
df3 = df_selected.toPandas()
df_selected:Schema
корень
| - low_cost_fund_concentration: десятичное число (38,20) (nullable = true)
df_selected.show()
| low_cost_fund_concentration |
+ --------------------------- +
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0,875646666836228 ... |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
| 0E-20 |
+ --------------------------- +
ошибка при преобразовании фрейма Spark 1.6 в фрейм Pandas
Ошибка:
ValueError: Буфер имеет неверное количество измерений (ожидается 1, получено 2)