80-20% разделение по критерию поезда (val) зависит от количества образцов, а не от количества классов. Чем больше данных у вас есть, тем больше может быть процент несоответствия между поездом и тестом (val) (для миллионов образцов данных вы можете иметь 95% --- 5% разделение)
Обычно, по крайней мере ( минимум) количество 200 bounding_boxes_annotations на объект должен присутствовать. То есть каждый из ваших классов должен иметь не менее 200 аннотаций.
1050Ti имеет только 4 ГБ видеопамяти. В зависимости от вашего image_size, вы можете увеличить или уменьшить batch_size. Однако учтите, что у вас не очень много доступных видеопамяти, скорее всего (уменьшите ее до 1, если у вас есть проблемы с OOM), batch_size 2 для изображений 300x300 будет максимальным, которого вы можете достичь.