Вы можете сделать так:
datatable(head(iris),
caption = htmltools::tags$caption("hello", style="color:red"),
rownames=FALSE)
Если вы хотите смешать несколько стилей:
datatable(head(iris),
caption = htmltools::tags$caption(htmltools::tags$span("hello", style="color:red;"), htmltools::tags$span("how are you", style="color:blue;")),
rownames=FALSE)