Вы можете очень сильно увеличить D, чтобы искусственно «создать» больше экземпляров D, но в целом у вас должно быть достаточно данных, чтобы научить алгоритм изменчивости всех классов.
Если вы можете предположить свой алгоритмпоказываются только изображения из A, B и D, вы можете попытаться научить его классифицировать «ни A, ни B» как D, с методами, аналогичными описанным здесь .