Вы можете использовать функцию count для получения выбранного количества строк.
Подсчитать, сколько строк в выбранном классе:
var table = $('#example').DataTable();
alert( 'Rows '+table.rows( '.selected' ).count()+' are selected' );
Подсчитать количество записей данных (т.е.строк) в таблице:
var table = $('#example').DataTable();
if ( ! table.data().count() ) {
alert( 'Empty table' );
}
Вы можете увидеть документ здесь