Вы не можете сделать это полностью переносимым способом, но многие платформы предоставляют C API, которые позволяют вам получать доступ к регистрам (ам) управления состоянием с плавающей запятой.
В частности, вы хотите снять маску с переполнения и недопустимых исключений с плавающей запятой, которые заставят процессор сигнализировать об исключении, когда арифметика в вашей программе дает NaN или бесконечность.
В вашей системе Linux это должно сработать:
#include <fenv.h>
...
feenableexcept(FE_INVALID | FE_OVERFLOW);
Возможно, вы захотите научиться писать обработчик ловушек, чтобы вы могли распечатать диагностическое сообщение или иным образом продолжить выполнение, когда сигнализируется одно из этих исключений.