Вы можете удалить верхнюю границу и нижнюю границу следующим образом:
datatable(head(iris),
options=list(headerCallback = JS(
"function( thead, data, start, end, display ) {
$(thead).closest('thead').find('th').each(function(){
$(this).css('color', 'red').css('border','none');
});
}"
),
initComplete = JS(
"function(settings) {
var table = settings.oInstance.api();
$(table.table().node()).removeClass('no-footer');
}")))