Это не имеет ничего общего ни с Windows, ни с QtCreator. Вы должны написать программу правильно.
fftw_plan_dft_1d(N, in, out, FFTW_FORWARD, FFTW_ESTIMATE); //this line crashed the program.
Это не строка, которая вылетает. Эта строка просто отлично. Следующее будет совершенно ожидаемо sh, потому что вы никогда не назначали myPlan
.
myPlan = fftw_plan_dft_1d(N, in, out, FFTW_FORWARD, FFTW_ESTIMATE);
, чтобы исправить вашу проблему. Это при условии, что вы установили N
на что-то разумное. Я уверен, что вы также должны установить in
по крайней мере. Конечно, если вы хотите преобразовать Фурье, то, что окажется в in
в вашей оперативной памяти. Что круто. :)