Лучше всего вы читаете цвета из образца, данного вам с xlrd
.
Если есть только несколько разных цветов, и они остаются неизменными во времени, вы также можете открыть файл в Excel и использовать инструмент выбора цвета, чтобы получить значения RGB соответствующих ячеек.