LightGBMError: не поддерживает специальные JSON символы в имени функции - тот же код работает в jupyter, но не работает в Spyder - PullRequest
Новая
       34

LightGBMError: не поддерживает специальные JSON символы в имени функции - тот же код работает в jupyter, но не работает в Spyder

0 голосов
/ 07 марта 2020

У меня есть следующий код: 

    most_important = features_importance_chi(importance_score_tresh, 
    df_user.drop(columns = 'CHURN'),churn)
    X = df_user.drop(columns = 'CHURN')
    churn[churn==2] = 1
    y = churn

    # handle undersample problem
    X,y = handle_undersampe(X,y)

    # train the model

    X=X.loc[:,X.columns.isin(most_important)].values
    y=y.values

    parameters = {
    'application': 'binary',
    'objective': 'binary',
    'metric': 'auc',
    'is_unbalance': 'true',
    'boosting': 'gbdt',
    'num_leaves': 31,
    'feature_fraction': 0.5,
    'bagging_fraction': 0.5,
    'bagging_freq': 20,
    'learning_rate': 0.05,
    'verbose': 0
    }

    # split data
    x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

    train_data = lightgbm.Dataset(x_train, label=y_train)
    test_data = lightgbm.Dataset(x_test, label=y_test)
    model = lightgbm.train(parameters,
                       train_data,
                       valid_sets=[train_data, test_data], 
                       **feature_name=most_important,**
                       num_boost_round=5000,
                       early_stopping_rounds=100)

и функция, которая возвращает параметр most_important 

def features_importance_chi(importance_score_tresh, X, Y):
    model = ExtraTreesClassifier(n_estimators=10)
    model.fit(X,Y.values.ravel())
    feature_list = pd.Series(model.feature_importances_,
                             index=X.columns)
    feature_list = feature_list[feature_list > importance_score_tresh]
    feature_list = feature_list.index.values.tolist()
    return feature_list

Самое смешное, что этот код в Spyder возвращает следующую ошибку

LightGBMError: Do not support special JSON characters in feature name.

но в jupyter работает нормально. Я могу напечатать список наиболее важных функций.

Есть идеи, что может быть причиной этой ошибки?

1 Ответ

0 голосов
/ 10 апреля 2020

Я думаю, вы забыли какой-то код о столбцах фреймов данных, чтобы использовать данные для обоих наборов данных (train+test). Убедитесь, что вы не используете его только на тестовом наборе

...