Словарь метаданных Pyspark spark-ml пуст - PullRequest
Новая
       39

Словарь метаданных Pyspark spark-ml пуст

0 голосов
/ 12 февраля 2019

Я реализую текстовый классификатор в pyspark, как показано ниже 

tokenizer = RegexTokenizer(inputCol="documents", outputCol="tokens", pattern='\\W+')

remover = StopWordsRemover(inputCol='tokens', outputCol='nostops')

vectorizer = CountVectorizer(inputCol='nostops', outputCol='features', vocabSize=1000)

labelIndexer = StringIndexer(inputCol="label", outputCol="indexedLabel", handleInvalid='skip')
labelIndexer_model = labelIndexer.fit(countModel_df)

convertor = IndexToString(inputCol='prediction', outputCol='predictedLabel', labels=labelIndexer_model.labels)

rfc = RandomForestClassifier(featuresCol='features', labelCol='indexedLabel', numTrees=30)

evaluator = BinaryClassificationEvaluator(labelCol='indexedLabel', rawPredictionCol='prediction')

pipe_rfc = Pipeline(stages=[tokenizer, remover, labelIndexer, vectorizer, rfc, convertor])

train_df, test_df = df.randomSplit((0.8, 0.2), seed=42)

model = pipe_rfc.fit(train_df)

prediction_rfc_df = rfc_model.transform(test_df)

Код работает, и файлpretion_rfc_df делает прогнозы, как и ожидалось.Но когда я хочу проверить метаданные - словарь метаданных пуст, как показано ниже 

prediction_rfc_df.schema['features'].metadata

Output : {}

prediction_rfc_df.schema['label'].metadata

Output: {}

Есть идеи, почему метаданные отсутствуют в кадре данных?

Я читаю данные из Кассандрытаблица как ниже: 

df = spark.read \
     .format("org.apache.spark.sql.cassandra") \
     .options(table='table_name', keyspace='key_space_name') \
     .load()
...