подходит модель глубокого обучения с использованием Kers

Question

Я новичок в области глубокого обучения и keras, я хочу выполнить задачу, которая состоит в следующем: обучить модель на данных обучения, используя 50 эпох.

Я написал следующие коды:

import pandas as pd
from tensorflow.python.keras import Sequential
from tensorflow.python.keras.layers import Dense
from sklearn.model_selection import train_test_split

concrete_data = pd.read_csv('https://cocl.us/concrete_data')

n_cols = concrete_data.shape[1]
model = Sequential()
model.add(Dense(units=10, activation='relu', input_shape=(n_cols,)))

model.compile(loss='mean_squared_error',
          optimizer='adam')


x = concrete_data.Cement
y = concrete_data.drop('Cement', axis=1)
xTrain, xTest, yTrain, yTest = train_test_split(x, y, test_size = 0.3)

но когда я хочу подогнать свою модель следующим образом:

model.fit(xTrain, yTrain, validation_data=(xTrain, yTrain), epochs=50)

У меня есть следующие ошибки:

Epoch 1/50
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-83-489dd99522b4> in <module>()
----> 1 model.fit(xTrain, yTrain, validation_data=(xTrain, yTrain), epochs=50)

10 frames
/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/func_graph.py in wrapper(*args, **kwargs)
    966           except Exception as e:  # pylint:disable=broad-except
    967             if hasattr(e, "ag_error_metadata"):
--> 968               raise e.ag_error_metadata.to_exception(e)
    969             else:
    970               raise

ValueError: in user code:

    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py:503 train_function  *
        outputs = self.distribute_strategy.run(
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/distribute/distribute_lib.py:951 run  **
        return self._extended.call_for_each_replica(fn, args=args, kwargs=kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/distribute/distribute_lib.py:2290 call_for_each_replica
        return self._call_for_each_replica(fn, args, kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/distribute/distribute_lib.py:2649 _call_for_each_replica
        return fn(*args, **kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py:464 train_step  **
        y_pred = self(x, training=True)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/base_layer.py:885 __call__
        self.name)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/input_spec.py:216 assert_input_compatibility
        ' but received input with shape ' + str(shape))

    ValueError: Input 0 of layer sequential_2 is incompatible with the layer: expected axis -1 of input shape to have value 9 but received input with shape [None, 1]

и мои конкретные данные:

и это форма x и y (разделенная *): Я действительно понятия не имею, в чем проблема.

Answer 1

Я думаю, что вам нужно изменить input_shape, как показано ниже:

input_shape=(n_cols,) =>>  input_shape=(n_cols-1,)

Вначале ваши данные содержат объекты и целевые данные, поэтому форма состоит из обоих. Чтобы указать форму ввода, вам нужно минус 1 от этой части.

Другая проблема заключается в переключении данных между x и y. Я думаю, что вы хотите предсказать Cement с остальной частью вашего набора данных. Таким образом, информация Cement должна храниться в y, а остальная часть вашего набора данных должна быть в x.

Также вам необходимо изменить эту часть кода.

model.fit(xTrain, yTrain, validation_data=(xTrain, yTrain), epochs=50)

Использование одних и тех же данных для обучения и проверки не имеет смысла. Вы можете указать коэффициент валидации, чтобы керасы сделали вас автоматически.