Да, вы правы, что такая функция сложности никогда не будет существовать, поскольку после определенного значения n ваша функция всегда отрицательна (из-за -100n ^ 2), что невозможно. Тем не менее, если кто-то спрашивает вас о сложности такой функции, на нее следует ответить O (n ^ 2).