Я тренирую модель с данными из нескольких .csv файлов и обнаружил, что мой код читает файлы, но модель все еще тренируется на одном. Соответствующие части моего кода:
def get_data(datasets_path):
'''
Returns the dataframes.
'''
full_path = datasets_path + "*.csv"
for data_fname in glob.glob(full_path):
df = pd.read_csv(data_fname)
processed_df = __preprocessor(df)
scaler = MinMaxScaler()
transformed_df = scaler.fit_transform(processed_df)
return transformed_df
def batch_generator(X, batch_size=16, shuffle=False):
'''
Return a random sample from X.
'''
count = 0
while True:
if shuffle:
idx = np.random.randint(0, X.shape[0], batch_size)
data = X[idx]
else:
indices = list(n for n in range(X.shape[0]))
data = X[indices[count*batch_size : (count+1)*batch_size]]
count +=1
yield (data, data)
и
data = get_data(path_to_datasets)
x_train, x_test = train_test_split(data, test_size=0.2, random_state=42, shuffle=False)
x_train = np.expand_dims(x_train, axis=1)
x_test = np.expand_dims(x_test, axis=1)
train_gen = batch_generator(x_train, batch_size=32)
valid_gen = batch_generator(x_test, batch_size=32)
затем я определяю простую модель и обучаю ее с
model.fit_generator(
generator=train_gen,
epochs=1,
steps_per_epoch=x_train.shape[0] // 32,
validation_data=valid_gen,
validation_steps=x_test.shape[0] // 32)
Проблема в том, что это похоже на один файл .csv и не проходит через все из них, и я не понимаю, почему.