При использовании синтаксиса jQuery правильный вызов функции:
$("#download-xlsx").click(function(){
$("#ovdim_list").tabulator("download", "xlsx", "data.xlsx", {sheetName:"My Data"});
});
При использовании оболочки jQuery имя функции входит в первый аргумент функции табулятора