Третий цикл выполняется C раз:
C = Sum( Sum ( Sum ( 1 , k = 1 .. j ) , j = i+1 .. n ) , i = 1 .. n-1 )
= Sum( Sum ( j , j = i+1 .. n ) , i = 1 .. n-1 )
= 2 + 3 + 4 + ... + n
+ 3 + 4 + ... + n
...
+ n
= 2*1 + 3*2 + 4*3 + 5*4 + ... + n*(n-1)
= (1*1 + 1) + (2*2 + 2) + (3*3 + 3) + ... + ((n-1)*(n-1) + n-1)
= (1^2 + 2^2 + ... (n-1)^2) + (1 + 2 + 3 + ... + (n-1))
= (n-1)*n*(2*n-1)/6 + (n-1)*n/2
= (n-1)*n*(2*n+2)/6
= O(n^3)
Здесь я использовал формулы:
1^2 + 2^2 + ... + m^2 = m*(m+1)*(2*m+1)/6
и
1 + 2 + ... + m = m*(m+1)/2