Keras Ошибка с fit_generator: Ошибка при проверке цели: ожидается, что softmax_1 будет иметь форму (2,), но получил массив с формой (1,) - PullRequest
Новая
       11

Keras Ошибка с fit_generator: Ошибка при проверке цели: ожидается, что softmax_1 будет иметь форму (2,), но получил массив с формой (1,)

0 голосов
/ 18 марта 2020

Я новичок в использовании керас. Мой набор данных большой, поэтому я переделываю свой код для работы партиями. У меня есть мой генератор здесь: 

def batch_generator(csv_file,chunk_size,
                    steps, var_list):
    idx=1
    while True:
        yield load_data(csv_file,idx-1,chunk_size,var_list)## Yields data
        if idx<steps:
            idx+=1
        else:
            idx=1

def load_data(csv_file,idx,
              chunk_size, var_list):
    global col_names
    if idx == 0:
        df = pd.read_csv(
                  csv_file,
                  nrows=chunk_size)
        col_names = df.columns
    else:
    df = pd.read_csv(
                  csv_file, skiprows=idx*chunk_size,
                  nrows=chunk_size,
                  header=None,names = col_names)
    x = df[var_list]
    y = df['targets_LJ']
    return (np.array(x), to_categorical(y))

И часть моего кода, посвященная машинному обучению: 

    #create iterator over dataframe
    train_gen = batch_generator(filepath_train, chunk_size, steps, list_of_vars)
    val_gen = batch_generator(filepath_val, chunk_size, steps_val, list_of_vars)

    # now make the network
    from keras.layers import Input, Dense, Softmax
    from keras.models import Model

    #layers are functions that construct the deep learning model
    #tensors define the data flow through the model
    input_tensor = Input(shape = (len(list_of_vars),))
    node1_layer = Dense(2)
    node1_tensor = node1_layer(input_tensor)
    output_layer = Softmax()
    output_tensor = output_layer(node1_tensor)

    #build model
    model = Model(input_tensor, output_tensor)
    model.compile(optimizer='rmsprop',
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])

    #create early stopping for if the nn is not improving
    from keras.callbacks import EarlyStopping
    early_stop = EarlyStopping(monitor='val_loss', patience=2)

    #fit model
    history = model.fit_generator(generator=train_gen,
        validation_data=val_gen,
        steps_per_epoch=steps, epochs=args.epochs, validation_steps=steps_val, callbacks=[early_stop])

Я получаю ошибку, которую не получал, пока не переключился с fit на fit_generator : 

Traceback (most recent call last):
  File "./train_nn.py", line 162, in <module>
    run()
  File "./train_nn.py", line 145, in run
    steps_per_epoch=steps, epochs=args.epochs, validation_steps=steps_val, callbacks=[early_stop])
  File "/opt/ohpc/pub/packages/anaconda3/lib/python3.7/site-packages/keras/legacy/interfaces.py", line 91, in wrapper
    return func(*args, **kwargs)
  File "/opt/ohpc/pub/packages/anaconda3/lib/python3.7/site-packages/keras/engine/training.py", line 1418, in fit_generator
    initial_epoch=initial_epoch)
  File "/opt/ohpc/pub/packages/anaconda3/lib/python3.7/site-packages/keras/engine/training_generator.py", line 217, in fit_generator
    class_weight=class_weight)
  File "/opt/ohpc/pub/packages/anaconda3/lib/python3.7/site-packages/keras/engine/training.py", line 1211, in train_on_batch
    class_weight=class_weight)
  File "/opt/ohpc/pub/packages/anaconda3/lib/python3.7/site-packages/keras/engine/training.py", line 789, in _standardize_user_data
    exception_prefix='target')
  File "/opt/ohpc/pub/packages/anaconda3/lib/python3.7/site-packages/keras/engine/training_utils.py", line 138, in standardize_input_data
    str(data_shape))
ValueError: Error when checking target: expected softmax_1 to have shape (2,) but got array with shape (1,)

Я заблудился относительно того, что не так с этим. Я использую 'categorical_crossentropy', но у меня есть цели как категоричные, и, насколько я знаю, они должны работать вместе.

Спасибо, Сара

1 Ответ

0 голосов
/ 19 марта 2020

Ваша модель имеет выходную форму (2,), потому что ваш последний слой имеет 2 единицы.
Поскольку вы используете "softmax", я предполагаю, что вы делаете двоичную классификацию, верно?

Но ваши данные имеют форму (1,), то есть у вас нет двух классов !!! У вас есть только один класс. В обычных двоичных классификациях вы получаете данные в виде нулей (один класс) и единиц (другой класс)

Если это ваш случай, ваш последний слой должен содержать только 1 единицу. Ваша последняя активация должна быть 'sigmoid', а ваша потеря должна быть 'binary_crossentropy'. Таким образом, вам не нужно менять свои данные.

...