Ваш мыслительный процесс правильный. Вам нужно заменить термин j на n (n - наибольшее значение, которое может принять j), но это, вероятно, опечатка.
Кроме того, вы можете упростить дальше, где вы находитесь:
n(2*(n(n+1)/2))
2*n*(n^2+n)/2
n^3+n^2
=> O(n^3)
Последний шаг состоит в том, что член n в кубе будет расти с гораздо большей скоростью, чем член n в квадрате, мы можем сказать, что он будет доминировать во время выполнения для больших n. Единственный другой момент, который я хотел бы упомянуть, это то, что вы, возможно, должны рассматривать хранилище p как операцию, а также умножение двух, хотя, очевидно, это не изменит упрощенную среду выполнения big-o.