Хотя isnan - правильное решение, я просто укажу способ его найти. Используйте lookfor. Если вы не знаете имя функции в MATLAB, попробуйте поискать.
lookfor nan
быстро даст вам имена некоторых функций, которые работают с NaN, а также даст вам первую строку их блоков помощи. Здесь он бы перечислил (среди прочего)
ISNAN Истинно для не числа.
, что, безусловно, является функцией, которую вы хотите использовать.