Я думаю, это зависит от того, какие вычисления вы выполняете.
Например, в очень скромном ноутбуке:
Clear["Global`*"];
k = 2000;
Timing[a = Table[i j + i - j, {i, k}, {j, k}];
MatrixPlot@a]
Занимает 20 секунд.
Матрица умножается до 1000x1000:
f[n_] := Table[RandomInteger[{1, n}], {n}, {n}];
ListLinePlot[
Table[{n, First@AbsoluteTiming@(#.#) &@f[n]}, {n, 100, 1000, 100}]]
Таким образом, это сильно зависит от того, что вы пытаетесь вычислить.