Да, вам нужно много положительных и отрицательных образцов для обучения. Это особенно верно для Adaboost, который работает путем многократной повторной выборки обучающего набора. Сколько образцов достаточно, сказать сложно. Но в целом, чем больше, тем лучше, потому что это повышает шансы того, что ваш тренировочный набор будет репрезентативным.
Кроме того, мне кажется, что ваш поиск эффективности неуместен. Обучение проводится заранее, предположительно в автономном режиме. Люди обычно беспокоятся об эффективности классификации неизвестных случаев после окончания обучения.