Ошибка AttributeError при оценке конвейера sklearn с пользовательским подклассом трансформатора, но не при подгонке - PullRequest
0 голосов
/ 25 октября 2018

У меня проблемы с пониманием того, как создать подкласс преобразователя sklearn.Я хотел бы извиниться за длинный пример кода, я пытался сделать минимально воспроизводимый, но не смог воссоздать ошибку.Надеюсь, вы увидите, что большую часть примера кода я документирую.

Преобразователь описан ниже во фрагменте кода.

class PCAVarThreshSelector(PCA):
"""
Description
-----------
Selects the columns that can explain a certain percentage of the variance in a data set

Authors
-------
Eden Trainor

Notes
-----
1. PCA has a principole component limit of 4459 components, no matter how many more features you put into
it this is a hrad limit of how many components it will return to you.

"""

def __init__(self, 
             n_components=None, 
             copy=True, 
             whiten=False, 
             svd_solver='auto', 
             tol=0.0, 
             iterated_power='auto', 
             random_state=None, 
             explained_variance_thresh = 0.8):


    super(PCAVarThreshSelector, self).__init__(n_components, copy, whiten, svd_solver, tol, iterated_power, random_state)


    self.explained_variance_thresh = explained_variance_thresh

def find_nearest_index(self, array, value):
    """
    Description
    -----------
    Finds the index of the coefficient in an array nearest a certain value.


    Args
    ----
    array: np.ndarray, (number_of_componants,)
        Array containing coeffficients 

    value: int,
        Index of coefficient in array closset to this value is found.


    Returns
    -------
    index: int,
        Index of coefficient in array closest to value.
    """

    index = (np.abs(array - value)).argmin()

    return index

def fit(self, X, y = None):
    """
    Description
    -----------
    Fits the PCA and calculates the index threshold index of the cumulative explained variance ratio array.


    Args
    ----
    X: DataFrame, (examples, features)
        Pandas DataFrame containing training example features

    y: array/DataFrame, (examples,)
        (Optional) Training example labels

    Returns
    -------
    self: PCAVarThreshSelector instance
        Returns transfromer instance with fitted instance variables on training data.
    """

    #PCA fit the dataset
    super(PCAVarThreshSelector, self).fit(X)

    #Get the cumulative explained variance ratio array (ascending order of cumulative variance explained)
    cumulative_EVR = self.explained_variance_ratio_.cumsum()

    #Finds the index corresponding to the threshold amount of variance explained
    self.indx = self.find_nearest_index(array = cumulative_EVR, 
                                    value = self.explained_variance_thresh)


    return self

def transform(self, X):
    """
    Description
    -----------        
    Selects all the principle components up to the threshold variance.


    Args
    ----
    X: DataFrame, (examples, features)
        Pandas DataFrame containing training example features


    Returns
    -------
    self: np.ndarray, (examples, indx)
        Array containing the minimum number of principle componants required by explained_variance_thresh.
    """

    all_components =  super(PCAVarThreshSelector, self).transform(X) #To the sklean limit

    return all_components[:, :self.indx]

Я протестировал этот класс со своими данными, и он работаеткак и ожидалось, в простом конвейере с передовой RobustScaler.В этом простом конвейере класс будет соответствовать и преобразовываться, как и ожидалось.

Затем я помещаю простой конвейер в другой конвейер с оценщиком, надеясь на .fit () и .score () конвейер:

model_pipe = Pipeline([('ppp', Pipeline([('rs', RobustScaler()),
                                    ('pcavts', PCAVarThreshSelector(whiten = True))])),
                  ('lin_reg', LinearRegression())])

Трубопровод подходит без ошибок.Однако когда я пытаюсь забить его, я получаю AttributeError:

AttributeError                            Traceback (most recent call last)
<ipython-input-92-cf336db13fe1> in <module>()
----> 1 model_pipe.score(X_test, y_test)

~\Anaconda3\lib\site-packages\sklearn\utils\metaestimators.py in <lambda>(*args, **kwargs)
    113 
    114         # lambda, but not partial, allows help() to work with update_wrapper
--> 115         out = lambda *args, **kwargs: self.fn(obj, *args, **kwargs)
    116         # update the docstring of the returned function
    117         update_wrapper(out, self.fn)

~\Anaconda3\lib\site-packages\sklearn\pipeline.py in score(self, X, y, sample_weight)
    484         for name, transform in self.steps[:-1]:
    485             if transform is not None:
--> 486                 Xt = transform.transform(Xt)
    487         score_params = {}
    488         if sample_weight is not None:

~\Anaconda3\lib\site-packages\sklearn\pipeline.py in _transform(self, X)
    424         for name, transform in self.steps:
    425             if transform is not None:
--> 426                 Xt = transform.transform(Xt)
    427         return Xt
    428 

<ipython-input-88-9153ece48646> in transform(self, X)
    114         all_components =  super(PCAVarThreshSelector, self).transform(X) #To the sklean limit
    115 
--> 116         return all_components[:, :self.indx]
    117 

AttributeError: 'PCAVarThreshSelector' object has no attribute 'indx'

Сначала я думал, что это связано с тем, как я вызвал super () в классе.Что касается этого сообщения в блоге, я думаю, что класс повторно инициируется, когда конвейер .score () - ed, следовательно, атрибут, созданный в методе fit, больше не существует при оценке.Я пробовал несколько других методов вызова методов родительского класса, включая: super (). Method, PCA.method (), а также метод, предложенный в сообщении в блоге, но все они дают ту же ошибку.

Я думаю, что, возможно, решение блога относится именно к Python 2, хотя мой код написан на Python 3.

Однако, при попытке воспроизвести эту ошибку в минимально воспроизводимом для этого Вопроса, я больше не получаю ошибку,

from sklearn.datasets import make_regression
from sklearn.base import TransformerMixin, BaseEstimator
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline

X, y = make_regression() #Just some dummy regression data for demonstrative purposes.

class BaseTransformer(TransformerMixin, BaseEstimator):

    def __init__(self):
        print("Base Init")

    def fit(self, X, y = None):
        return self

    def transform(self, X):
        return X

class DerivedTransformer(BaseTransformer):

    def __init__(self):
        super(DerivedTransformer, self).__init__()
        print("Dervied init")

    def fit(self, X, y = None):
        super(DerivedTransformer, self).fit(X, y)
        self.new_attribute = 0.0001
        return self

    def transform(self, X):
        output = super(DerivedTransformer, self).transform(X)
        output += self.new_attribute

        return output

base_pipeline = Pipeline([('base_transformer', BaseTransformer()),
              ('linear_regressor', LinearRegression())])

derived_pipeline = Pipeline([('derived_transformer', DerivedTransformer()),
              ('linear_regressor', LinearRegression())])

Приведенный выше код работал без ошибок.Я в недоумении.Может кто-нибудь помочь мне решить эту ошибку?

1 Ответ

0 голосов
/ 25 октября 2018

Это потому, что вы не переопределили (реализовали) метод fit_transform().

Простое добавление следующей части к PCAVarThreshSelector решит проблему:

def fit_transform(self, X, y=None):
    return self.fit(X, y).transform(X)

Причина : Конвейер попытается сначала вызвать метод fit_transform() на всех шагах (исключая последний курс).

Этот метод fit_transform() является просто сокращением для вызова fit(), а затем transform() и определяется так, как я определил выше.

Но в некоторых случаях, например PCA,или CountVectorizer и т. д. в scikit-learn, этот метод реализован по-разному для ускорения обработки, потому что:

  • проверка / проверка (и преобразование) данных в соответствующую форму выполняется только один раз при сравнениичтобы проверить данные в fit() и затем проверить их снова в transform()
  • , некоторые другие повторяющиеся задачи могут быть легко упорядочены

Поскольку вы унаследовали от PCA, когда вы вызываете model_pipe.fit(), он использует fit_transform() от PCA и, следовательно, никогда не переходит к методу fit(), который вы определили (и, следовательно, ваш объект класса никогда не содержит атрибута indx.

Но когда вы вызываете score(), только transform() вызывается на всех промежуточных этапах конвейера и переходит к вашему реализованному transform(). Отсюда и ошибка.

Можно привести ваш пример с BaseTransformer и DerivedTransformerВоспроизводимый для вашей проблемы, если вы реализуете fit_transform() в BaseTransformer немного по-другому.

...