maxCategories не работает должным образом в VectorIndexer при использовании RandomForestClassifier в pyspark.ml - PullRequest
Новая
       28

maxCategories не работает должным образом в VectorIndexer при использовании RandomForestClassifier в pyspark.ml

0 голосов
/ 22 мая 2018

Справочная информация: я делаю простую двоичную классификацию, используя RandomForestClassifier из pyspark.ml.Перед передачей данных для обучения мне удалось использовать VectorIndexer, чтобы решить, будут ли объекты числовыми или категоричными, предоставив аргумент maxCategories.

Проблема: даже если бы я использовал VectorIndexer с параметром maxCategories равным 30, я былвсе еще получаю сообщение об ошибке во время обучающего конвейера: 

An error occurred while calling o15371.fit.
: java.lang.IllegalArgumentException: requirement failed: DecisionTree requires maxBins (= 32) to be at least as large as the number of values in each categorical feature, but categorical feature 0 has 10765 values. Considering remove this and other categorical features with a large number of values, or add more training examples.

Мой код прост, col_idx - это список строк столбца, который я сгенерировал, который будет передан в stringindexer, col_all - список строк столбцов, который будет передан в stringindexer иonehotencoder, col_num - это числовые имена столбцов. 

from pyspark.ml.feature import OneHotEncoderEstimator, StringIndexer, VectorAssembler, IndexToString, VectorIndexer
from pyspark.ml import Pipeline
from pyspark.ml.classification import RandomForestClassifier

my_data.cache()

# stringindexers and encoders
stIndexers = [StringIndexer(inputCol = Col, outputCol = Col + 'Index').setHandleInvalid('keep') for Col in col_idx]
encoder = OneHotEncoderEstimator(inputCols = [Col + 'Index' for Col in col_all], outputCols = [Col + 'ClassVec' for Col in col_all]).setHandleInvalid('keep')

# vector assemblor
col_into_assembler = [cols + 'Index' for cols in col_idx] + [cols + 'ClassVec' for cols in col_all] + col_num
assembler = VectorAssembler(inputCols = col_into_assembler, outputCol = "features")

# featureIndexer, labelIndexer, rf classifier and labelConverter
featureIndexer = VectorIndexer(inputCol = "features", outputCol = "indexedFeatures", maxCategories = 30)
# columns smaller than maxCategories => categorical features, columns larger than maxCategories => numerical / continuous features, smaller value => less categorical features, larger value => more categorical features.
labelIndexer = StringIndexer(inputCol = "label", outputCol = "indexedLabel").fit(my_data)
rf = RandomForestClassifier(featuresCol = "indexedFeatures", labelCol = "indexedLabel")
labelConverter = IndexToString(inputCol = "prediction", outputCol = "predictedLabel", labels=labelIndexer.labels)

# chain all the estimators and transformers stages into a Pipeline estimator
rfPipeline = Pipeline(stages = stIndexers + [encoder, assembler, featureIndexer, labelIndexer, rf, labelConverter])

# split data, cache them
training, test = my_data.randomSplit([0.7, 0.3], seed = 100)
training.cache()
test.cache()

# fit the estimator with training dataset to get a compiled pipeline with transformers and fitted models.
ModelRF = rfPipeline.fit(training)

# make predictions
predictions = ModelRF.transform(test)
predictions.printSchema()
predictions.show(5)

Итак, мой вопрос: почему в моих данных все еще есть категориальная особенность высокого уровня, даже если я установил для maxCategories значение 30 в VectorIndexer.Я могу установить для maxBins в RF-классификаторе более высокое значение, но мне просто любопытно: почему VectorIndexer работает не так, как ожидалось (ну, как я и ожидал): приведение функции, меньшей maxCategories, к категориальной функции, большей к числовым функциям.

1 Ответ

0 голосов
/ 22 мая 2018

Похоже, что вопреки документации, в которой перечислены:

Сохранение метаданных в преобразовании;если метаданные объекта уже присутствуют, не пересчитывайте.

среди TODO, метаданные уже сохранены.

from pyspark.sql.functions import col
from pyspark.ml import Pipeline
from pyspark.ml.feature import  *

df = spark.range(10)

stages = [StringIndexer(inputCol="id", outputCol="idx"), VectorAssembler(inputCols=["idx"], outputCol="features"), VectorIndexer(inputCol="features", outputCol="features_indexed", maxCategories=5)]
Pipeline(stages=stages).fit(df).transform(df).schema["features"].metadata
# {'ml_attr': {'attrs': {'nominal': [{'vals': ['8',
#       '4',
#       '9',
#       '5',
#       '6',
#       '1',
#       '0',
#       '2',
#       '7',
#       '3'],
#      'idx': 0,
#      'name': 'idx'}]},
#   'num_attrs': 1}}

Pipeline(stages=stages).fit(df).transform(df).schema["features_indexed"].metadata

# {'ml_attr': {'attrs': {'nominal': [{'ord': False,
#      'vals': ['0.0',
#       '1.0',
#       '2.0',
#       '3.0',
#       '4.0',
#       '5.0',
#       '6.0',
#       '7.0',
#       '8.0',
#       '9.0'],
#      'idx': 0,
#      'name': 'idx'}]},
#   'num_attrs': 1}}

При нормальных обстоятельствах это желаемое поведение .Вы не должны использовать индексированные категориальные функции в качестве непрерывных переменных

Но если вы все же хотите обойти это поведение, вам придется сбросить метаданные, например: 

pipeline1 = Pipeline(stages=stages[:1])
pipeline2 = Pipeline(stages=stages[1:])

dft1 = pipeline1.fit(df).transform(df).withColumn("idx", col("idx").alias("idx", metadata={}))
dft2 = pipeline2.fit(dft1).transform(dft1)


dft2.schema["features_indexed"].metadata

# {'ml_attr': {'attrs': {'numeric': [{'idx': 0, 'name': 'idx'}]},
#   'num_attrs': 1}}
...