Я верю, что внутренний цикл будет работать
t = 1/8 * (N^4 + 6 * N^3 + 7 * N^2 + 2 * N)
раз.
Я не решал проблему напрямую, я подгонял полиномиальное выражение 4-го порядка к точно рассчитанному t для N от 1 до 50, надеясь, что получу точное соответствие.
Для точного расчета t я использовал
sum(sum(sum(sum(1,i,k,j+1),j,max(l,k),N),k,1,N),l,1,N)
, что должно быть эквивалентно фактическому запуску ваших циклов.
подбор данных, логарифмическая шкала http://img714.imageshack.us/img714/2313/plot3.png
Подгонка для N от 1 до 50 точно соответствует, и вычисление ее для N = 100 дает 13258775 с использованием обоих методов.
EDIT:
Упражнение было выполнено с использованием системы алгебры с открытым исходным кодом максимумы , вот фактический источник (вывод отброшен):
nr(n):=sum(sum(sum(sum(1,i,k,j+1),j,max(l,k),n),k,1,n),l,1,n);
M : genmatrix( lambda([i,j],if j=1 then i else nr(i)), 50, 2 );
coefs : lsquares_estimates(M, [x,y], y = A*x^4+B*x^3+C*x^2+D*x+E, [A,B,C,D,E]);
sol(x):=ev(A*x^4+B*x^3+C*x^2+D*x+E, coefs);
sol(N);
S : genmatrix( lambda([i,j], if j=1 then i else sol(i)), 50, 2);
M-S;
plot2d([[discrete,makelist([M[N][1],M[N][2]],N,1,50)], sol(N)], [N, 1, 60], [style, points, lines], [color, red, blue], [legend, "simulation", sol(N)], [logy]);
compare(nr(100),sol(100));