многократное горячее кодирование в тензорном потоке с использованием tf.data.Dataset - PullRequest
Новая
       21

многократное горячее кодирование в тензорном потоке с использованием tf.data.Dataset

1 голос
/ 06 февраля 2020

У меня проблема с TF api tf.data.Dataset.from_tensor_slices ()

Код ниже работает хорошо: 

features = {'letter': [['A','A'], ['C','D'], ['E','F'], ['G','A'], ['X','R']]}

letter_feature = tf.feature_column.categorical_column_with_vocabulary_list(
                "letter", ["A", "B", "C"], dtype=tf.string)

target = [1,0,1,0,1]

indicator = tf.feature_column.indicator_column(letter_feature)

def make_input_fn (X,y):
    def input_fn():
        return (X,y)
    return input_fn

# THE INPUT FUNCTION WILL RETURN A SET : ( {'letter':[['A','A'],['C','D']...]}, [1,0,...] )

linear_estimator = tf.estimator.LinearClassifier(indicator)
input_fn = make_input_fn(features, target)

linear_estimator.train(input_fn)

Это в основном позволяет мне кормить столбец shape (-1,2) с моей оценочной моделью с использованием индикатора feature_column.

Теперь у меня проблема со следующим вариантом использования: 

df_features = pd.DataFrame.from_dict(features)

######### this is the dataframe features####
#letter
#[A, A, A]
#[B, C, D]
#[B, E, F]
#[B, G, A]
#[B, X, R]

def make_input_fn (X,y):
    def input_fn():
        ds = tf.data.Dataset.from_tensor_slices((dict(X),y))
        ds = ds.shuffle(128)
        return ds
    return input_fn

linear_estimator = tf.estimator.LinearClassifier(indicator)
input_fn = make_input_fn(df_features,target)

linear_estimator.train(input_fn)

Я получаю эту ошибку: 


TypeError: Could not build a TypeSpec for 0    [A, A, A]
1    [B, C, D]
2    [B, E, F]
3    [B, G, A]
4    [B, X, R]
Name: letter, dtype: object with type Series ...
TypeError: Expected binary or unicode string, got ['A', 'A', 'A']

Это действительно раздражает, потому что если у меня большой Набор данных Мне нужно будет использовать API tf.data.Dataset, чтобы подать оценку мне на тренировку небольшими партиями и в конечном итоге распределить процесс обучения.

Мне понадобится обходной путь, чтобы преодолеть эту проблему, я думал о генераторах но я не уверен, как это реализовать, но я хотел убедиться, что нет другого решения

Спасибо!

...