Хотя UITableViewCell наследует от UIView, изменение свойства backgroundColor самой ячейки ничего не изменит. Вам нужно изменить цвет фона содержимого содержимого ячейки, например
cell.contentView.backgroundColor = [UIColor greenColor];
Это потому, что подпредставления UITableViewCell на самом деле являются подпредставлениями contentView ячейки, потому что contentView знает, как изменить размеры своих подпредставлений, если ячейка переведена в режим редактирования; сама клетка не знает, как это сделать.
Я не уверен, что вы подразумеваете под неиспользованными клетками. Если вы скажете своему tableView, что есть 10 ячеек, и вы предоставляете контент только для 8 из них, у вас все равно будет 10 зеленых ячеек, если вы это подразумеваете под «неиспользованными».