Полагаю, это вопрос Excel больше, чем R. В Excel пользовательский тип работает как
positive number; negative number; zero
Следовательно, если вы хотите преобразовать ноль в тире, это должно быть:
#,##0;-#,##0;-
Итак, в зависимости от вашего кода это будет:
addStyle(wb, sheet = "Sheet Name", style = createStyle(numFmt = "#,##0;-#,##0;-"), rows = 4:15, cols = 2:17, gridExpand = T)