Существует два способа проверки двоичных изображений.
Самый простой способ - проверить, является ли изображение логическим массивом (логический массив возвращается функциями из набора инструментов обработки изображений, которые возвращают двоичное изображение)
isBinaryImage = islogical(img);
Кроме того, вы можете проверить, все ли пиксели равны 1 или 0
isBinaryImage = all( img(:)==0 | img(:)==1);