У меня проблемы с пониманием того, как создать подкласс преобразователя sklearn.Я хотел бы извиниться за длинный пример кода, я пытался сделать минимально воспроизводимый, но не смог воссоздать ошибку.Надеюсь, вы увидите, что большую часть примера кода я документирую.
Преобразователь описан ниже во фрагменте кода.
class PCAVarThreshSelector(PCA):
"""
Description
-----------
Selects the columns that can explain a certain percentage of the variance in a data set
Authors
-------
Eden Trainor
Notes
-----
1. PCA has a principole component limit of 4459 components, no matter how many more features you put into
it this is a hrad limit of how many components it will return to you.
"""
def __init__(self,
n_components=None,
copy=True,
whiten=False,
svd_solver='auto',
tol=0.0,
iterated_power='auto',
random_state=None,
explained_variance_thresh = 0.8):
super(PCAVarThreshSelector, self).__init__(n_components, copy, whiten, svd_solver, tol, iterated_power, random_state)
self.explained_variance_thresh = explained_variance_thresh
def find_nearest_index(self, array, value):
"""
Description
-----------
Finds the index of the coefficient in an array nearest a certain value.
Args
----
array: np.ndarray, (number_of_componants,)
Array containing coeffficients
value: int,
Index of coefficient in array closset to this value is found.
Returns
-------
index: int,
Index of coefficient in array closest to value.
"""
index = (np.abs(array - value)).argmin()
return index
def fit(self, X, y = None):
"""
Description
-----------
Fits the PCA and calculates the index threshold index of the cumulative explained variance ratio array.
Args
----
X: DataFrame, (examples, features)
Pandas DataFrame containing training example features
y: array/DataFrame, (examples,)
(Optional) Training example labels
Returns
-------
self: PCAVarThreshSelector instance
Returns transfromer instance with fitted instance variables on training data.
"""
#PCA fit the dataset
super(PCAVarThreshSelector, self).fit(X)
#Get the cumulative explained variance ratio array (ascending order of cumulative variance explained)
cumulative_EVR = self.explained_variance_ratio_.cumsum()
#Finds the index corresponding to the threshold amount of variance explained
self.indx = self.find_nearest_index(array = cumulative_EVR,
value = self.explained_variance_thresh)
return self
def transform(self, X):
"""
Description
-----------
Selects all the principle components up to the threshold variance.
Args
----
X: DataFrame, (examples, features)
Pandas DataFrame containing training example features
Returns
-------
self: np.ndarray, (examples, indx)
Array containing the minimum number of principle componants required by explained_variance_thresh.
"""
all_components = super(PCAVarThreshSelector, self).transform(X) #To the sklean limit
return all_components[:, :self.indx]
Я протестировал этот класс со своими данными, и он работаеткак и ожидалось, в простом конвейере с передовой RobustScaler.В этом простом конвейере класс будет соответствовать и преобразовываться, как и ожидалось.
Затем я помещаю простой конвейер в другой конвейер с оценщиком, надеясь на .fit () и .score () конвейер:
model_pipe = Pipeline([('ppp', Pipeline([('rs', RobustScaler()),
('pcavts', PCAVarThreshSelector(whiten = True))])),
('lin_reg', LinearRegression())])
Трубопровод подходит без ошибок.Однако когда я пытаюсь забить его, я получаю AttributeError:
AttributeError Traceback (most recent call last)
<ipython-input-92-cf336db13fe1> in <module>()
----> 1 model_pipe.score(X_test, y_test)
~\Anaconda3\lib\site-packages\sklearn\utils\metaestimators.py in <lambda>(*args, **kwargs)
113
114 # lambda, but not partial, allows help() to work with update_wrapper
--> 115 out = lambda *args, **kwargs: self.fn(obj, *args, **kwargs)
116 # update the docstring of the returned function
117 update_wrapper(out, self.fn)
~\Anaconda3\lib\site-packages\sklearn\pipeline.py in score(self, X, y, sample_weight)
484 for name, transform in self.steps[:-1]:
485 if transform is not None:
--> 486 Xt = transform.transform(Xt)
487 score_params = {}
488 if sample_weight is not None:
~\Anaconda3\lib\site-packages\sklearn\pipeline.py in _transform(self, X)
424 for name, transform in self.steps:
425 if transform is not None:
--> 426 Xt = transform.transform(Xt)
427 return Xt
428
<ipython-input-88-9153ece48646> in transform(self, X)
114 all_components = super(PCAVarThreshSelector, self).transform(X) #To the sklean limit
115
--> 116 return all_components[:, :self.indx]
117
AttributeError: 'PCAVarThreshSelector' object has no attribute 'indx'
Сначала я думал, что это связано с тем, как я вызвал super () в классе.Что касается этого сообщения в блоге, я думаю, что класс повторно инициируется, когда конвейер .score () - ed, следовательно, атрибут, созданный в методе fit, больше не существует при оценке.Я пробовал несколько других методов вызова методов родительского класса, включая: super (). Method, PCA.method (), а также метод, предложенный в сообщении в блоге, но все они дают ту же ошибку.
Я думаю, что, возможно, решение блога относится именно к Python 2, хотя мой код написан на Python 3.
Однако, при попытке воспроизвести эту ошибку в минимально воспроизводимом для этого Вопроса, я больше не получаю ошибку,
from sklearn.datasets import make_regression
from sklearn.base import TransformerMixin, BaseEstimator
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
X, y = make_regression() #Just some dummy regression data for demonstrative purposes.
class BaseTransformer(TransformerMixin, BaseEstimator):
def __init__(self):
print("Base Init")
def fit(self, X, y = None):
return self
def transform(self, X):
return X
class DerivedTransformer(BaseTransformer):
def __init__(self):
super(DerivedTransformer, self).__init__()
print("Dervied init")
def fit(self, X, y = None):
super(DerivedTransformer, self).fit(X, y)
self.new_attribute = 0.0001
return self
def transform(self, X):
output = super(DerivedTransformer, self).transform(X)
output += self.new_attribute
return output
base_pipeline = Pipeline([('base_transformer', BaseTransformer()),
('linear_regressor', LinearRegression())])
derived_pipeline = Pipeline([('derived_transformer', DerivedTransformer()),
('linear_regressor', LinearRegression())])
Приведенный выше код работал без ошибок.Я в недоумении.Может кто-нибудь помочь мне решить эту ошибку?