Вы можете просто заставить свой генератор и дискриминатор генерировать и классифицировать 3-канальные изображения - говоря с точки зрения реализации, заставить их работать на B x 3 x H x W тензорах вместо B x 1 x H x W, как они делают для MNIST.
Вы не можете просто использовать свою GAN на каждом канале отдельно и объединять в конце, потому что у вас не будет способа гарантировать, что каждый канал соответствует одному и тому же изображению.Скажем, вы генерируете лица знаменитостей, сначала создав красный канал, затем зеленый и наконец синий.Как бы вы убедились, что вы не получите женский образец для красного канала и мужской для зеленого?