Проблема с вашим scanf:
scanf(" %lf %lf %lf " , &a, &b, &h);
^
scanf
необходимо увидеть следующий непробельный пробел, чтобы определить конец этого «0 или более пробелов», поэтому вам придется дать 4-е значение (это может быть мусором - при условии, что это не пробел) для scanf
для завершения ввода.
Если вы работаете в Windows, вы можете нажать Ctrl-Z в новой строке и нажать Enter. Это отправит EOF в программу, которая также может завершить ввод. (Я полагаю, что вы находитесь на Windows, потому что я вижу system("pause")
в вашей программе)