тюнинг моделей с поиском по сетке - PullRequest
Новая
       6

тюнинг моделей с поиском по сетке

0 голосов
/ 13 октября 2019

Я наткнулся на пример настройки параметров с помощью поиска по сетке и текстовых данных с использованием TfidfVectorizer () в конвейере. Насколько я понял, когда мы вызываем grid_search.fit (X_train, y_train), он преобразует данные, а затем соответствует модели, как описано в словаре. Однако во время оценки я немного запутался с набором тестовых данных, поскольку, когда мы вызываем grid_search.predict (X_test), я не знаю, применяется ли / (каким образом) TfidfVectorizer () к этому фрагменту теста.

Спасибо

Дэвид 

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model.logistic import LogisticRegression
from sklearn.grid_search import GridSearchCV
from sklearn.pipeline import Pipeline
from sklearn.cross_validation import train_test_split
from sklearn.metrics import precision_score, recall_score, accuracy_
score
pipeline = Pipeline([
('vect', TfidfVectorizer(stop_words='english')),
('clf', LogisticRegression())
])
parameters = {
'vect__max_df': (0.25, 0.5, 0.75),
'vect__stop_words': ('english', None),
'vect__max_features': (2500, 5000, 10000, None),
'vect__ngram_range': ((1, 1), (1, 2)),
'vect__use_idf': (True, False),
'vect__norm': ('l1', 'l2'),
'clf__penalty': ('l1', 'l2'),
'clf__C': (0.01, 0.1, 1, 10),
}

if __name__ == "__main__":
grid_search = GridSearchCV(pipeline, parameters, n_jobs=-1,
verbose=1, scoring='accuracy', cv=3)
df = pd.read_csv('data/sms.csv')
X, y, = df['message'], df['label']
X_train, X_test, y_train, y_test = train_test_split(X, y)
grid_search.fit(X_train, y_train)
print 'Best score: %0.3f' % grid_search.best_score_
print 'Best parameters set:'
best_parameters = grid_search.best_estimator_.get_params()
for param_name in sorted(parameters.keys()):
print '\t%s: %r' % (param_name, best_parameters[param_name])
predictions = grid_search.predict(X_test)
print 'Accuracy:', accuracy_score(y_test, predictions)
print 'Precision:', precision_score(y_test, predictions)
print 'Recall:', recall_score(y_test, predictions)

1 Ответ

1 голос
/ 13 октября 2019

Это пример магии конвейеров scikit-learn. Это работает следующим образом:

  1. Сначала вы определяете элементы конвейера с помощью конструктора Pipeline - все данные, будь то на этапе обучения или на этапе тестирования (predict), будут обрабатываться через все определенныешаги - в этом случае по TfidfVectorizer, а затем выходные данные будут переданы в LogisticRegression модель.
  2. Передача определенного конвейера в конструктор GridSearchCV позволяет использовать метод fit, который не только выполняетПоиск по сетке, но также внутренне устанавливает параметры TfidfVectorizer и LogisticRegression для наилучших найденных параметров, поэтому в дальнейшем запуск predict делает это для лучших моделей.

Более подробную информацию о создании конвейеров можно найти в документации scikit-learn .

...