Зачем пытаться преобразовать $.fn.dataTable.tables
в экземпляр jQuery?Но посмотрите на документы и сделайте это вместо этого:
$('div.modal').on('shown.bs.modal', function (e) {
var tables = $.fn.dataTable.tables({ api: true });
tables.columns.adjust().draw();
tables.fixedColumns().relayout().draw();
});
Вы можете visible: true
к параметрам, если вы просто хотите нацелиться на модал, который составляет околобыть показано.