В вашем делегате табличного представления реализуйте этот метод:
tableView:(NSTableView *)aTableView willDisplayCell:(id)aCell forTableColumn:(NSTableColumn *)aTableColumn row:(NSInteger)rowIndex
Оттуда вы можете получить ячейку кнопки-флажка в данной строке и изменить стиль рисования ячейки в зависимости от ее состояния. Имейте в виду, что ячейки используются повторно, поэтому вам придется установить стиль ячейки как для отмеченных, так и для непроверенных состояний.
Мне не очень понятно, к какому стилю рисования вы стремитесь. Попробуйте сначала с базовым NSTextFieldCell, и если вы не можете выполнить то, что пытаетесь сделать, создайте подкласс NSCell и обработайте код для рисования самостоятельно.