Ваш текущий код не будет компилироваться, потому что ("a" + i) является строкой, у которой нет метода setBackground ().
Предполагается, что класс для кнопок - Button.
Таким образом, вы можете сделать что-то вроде:
List<Button> buttons = new ArrayList<Button>;
buttons.add(a1);buttons.add(a2);...
Затем измените фон, используя:
for (int i = 1; i < 4; i++) {
if (p1grid[i - 1].equals("empty"))
buttons.get(i-1).setBackground(Color.LIGHT_GRAY);
else
buttons.get(i-1)..setBackground(Color.RED);
}