Приведет ли это к переоснащению / проклятию размерности?

Question

Набор данных содержит: 15000 наблюдений / рядов 3000 объектов / столбцов

Можно ли обучить модели машинного обучения на этих наборах данных

Answer 1

Никто не может ответить на этот вопрос на основании предоставленной вами информации. Самый простой подход - запустить проверку работоспособности в форме перекрестной проверки. Ваша модель хорошо работает на невидимых данных? Если это произойдет, это, вероятно, не overfit. Если это не так, проверьте, хорошо ли работает модель на данных тренировки. Модель, которая хорошо работает с тренировочными данными, но не с невидимыми данными, является определением модели, которая является избыточной.

Answer 2

Да, вы можете применить модель ML, но до того, как понимание вашего постановления проблемы войдет в картину со всеми названиями функций, доступными в наборе данных. Если у вас большой набор данных, попробуйте преобразовать его в кластер из двух или взять небольшой набор данных, чтобы проанализировать, о чем говорят ваши данные. Вот почему популяция и выборка приходят к практическому использованию.

Вы должны проверить, должна ли точность набора данных о поездах и набора тестовых данных быть одинаковой, если нет, то ваша модель запоминает вместо обучения и здесь Регуляризацияв машинном обучении входит в картину.