Я новичок в pyspark и сейчас работаю над преобразованием атрибута. У меня есть атрибут, который имеет значения («1», «2», «3») .. в объяснении, «1» - низкое, «3» - высокое. Поэтому мне не нужно использовать StringIndexer перед использованием OneHotEncoder.
Но в Inte rnet я вижу использование OneHotEncoder только с StringIndexer. Есть ли способ использовать OneHotEncoder без StringIndexer?
Мой код:
df = spark.createDataFrame(data)
from pyspark.ml.feature import OneHotEncoder
encoder = OneHotEncoder(inputCol="Column", outputCol="Col_encoded")
model = encoder.fit(df)
encoded = model.transform(df)
encoded.show(5)
Но я получил ошибку от pyspark:
model = encoder.fit(df)
AttributeError: 'OneHotEncoder' object has no attribute 'fit'