NSTableview Имеет метод для установки выделения. HighlightStyle
Добавьте строку ниже в вашем методе tableivew:
func tableView(_ tableView: NSTableView, viewFor tableColumn: NSTableColumn?, row: Int) -> NSView?
{
let cell:customCell = tableView.make(withIdentifier:
"customCell", owner: self) as! customCell
tableview.selectionHighlightStyle = .none
}