Возможно ли это сделать или селектор можно использовать только для изображений?
Нет, это не имеет никакого смысла (по крайней мере, для меня). Без 'drawable', как он будет точно знать, 'что' устанавливать в state_focused и state_pressed?
Почему бы просто не создать несколько рисунков одного цвета (например, растровые изображения) и предоставить их в качестве рисунков для каждого элемента?