Сами числа с плавающей запятой сами по себе не будут вызывать недетерминированность, но любые сторонние библиотеки, которые вы можете использовать, могут делать это, если они содержат ошибки, например, некорректная обработка бесконечностей.
Вы также можете рассмотреть возможность того, что ваш собственный код может быть виновником. Это обычно (хотя и не всегда) тот случай, когда сторонняя библиотека интенсивно используется, поскольку невозможно предположить, что большинство ошибок уже были бы найдены кем-то другим.
Находится ли FFTW в этой категории, я не знаю. Но, безусловно, возможно, что его протестировали больше людей, чем ваш собственный код: -)