Оказалось, что я действительно хотел, был картограф высоты. Я сопоставил каждый пиксель с определенной высотой на основе его значения RGB в оттенках серого. Если бы я хотел, чтобы цвет не зависел от высоты, у меня было бы два изображения, одно с картой высоты в оттенках серого, а другое с цветным изображением того, как я хочу, чтобы в данном случае была комната.
Что касается распознавания цветов из изображения как определенного объекта, отличного от пикселя, определенно требуется нечто более сложное. Друг предлагал что-то вроде алгоритма художника для чего-то подобного. Однако, по крайней мере для меня, это было областью применения.