Много функций в одной модели или в нескольких моделях для объединения?

Question

Если у меня есть 1000 функций (или больше) с парным соотношением ниже 0,7, и я планирую строить нейронные сети для прогнозов. Должен ли я построить одну модель, чтобы объединить все функции или две модели с 500 функциями в каждой и затем ансамбле? То есть:

Вариант 1: модель со всеми функциями. Структура модели может быть изменена в будущем, если будет создано больше функций. Например, для 100 объектов требуется 3 скрытых слоя, а для 1000 объектов требуется 6 скрытых слоев

Вариант 2: Модель с фиксированным числом объектов (например, 500). Для каждых 500 новых функций, которые я получу в будущем, я просто загружаю данные в модель без изменения структуры модели

С моей точки зрения, если я выберу вариант 2, я смогу построить модель с надлежащей емкостью для обработки 500 функций, и, таким образом, всякий раз, когда я генерирую новые функции, я могу просто передавать функции в существующую структуру модели с той же сетевой структурой и даже гиперпараметрами для ансамблирования. Однако я не слышал о таких мерах на практике. Я не уверен, верна ли моя идея или нет, и я не понимаю, какой вариант может быть лучше

Answer 1

Из моего прошлого опыта, а также из множества высокопоставленных решений по kaggle, вы обычно получаете лучшее, обучая несколько моделей со всеми функциями.

---

Но если нам придется выбирать между двумя вариантами Вариант 1 лучше.

Модели учатся лучше, если предоставляется больше функций.

Что если функции a и b наиболее полезны для окончательного ответа, но функция a используется для обучения модели 1, а функция b используется для обучения модели 2?

Answer 2

На мой взгляд, go для варианта 2. Вариант 1 может иногда подходить модели. Это правда, что модели учатся лучше с большим количеством функций, но это также может сделать модель более сложной. Модели, разработанные с использованием второй модели, также более точны (даже если они основаны на выбранных функциях).