Глядя на этот цикл за циклом:
Внешний цикл от 1 до n в квадрате, поэтому O(n^2)
Внутренний цикл от 1 до n, но шаги 1, 4, 9, 16 ... вместо 1, 2, 3, 4 ..., поэтому O(sqrt(n))
Вложенные циклы умножают сложность, поэтому мы выбираем O(sqrt(n)*n^2)
или O(n^2.5)