Для такого простого случая вы можете просто запустить медианный фильтр и ocr.
Медианный фильтр для каждого пикселя изображения будет смотреть на область вокруг него, обычно на область 3x3 или 5x5 пикселей, определять значение медианного пикселя в этой области и устанавливать для пикселя это значение медианы. В блоке того же цвета ничего не произойдет, вся область будет того же цвета, что и рассматриваемый пиксель, поэтому среднее значение будет таким же, как текущее значение (или, по крайней мере, почти то же самое, что позволяет небольшие вариации цвета. С другой стороны, шум пикселей, то есть один пиксель с разноцветной областью вокруг него просто исчезнет, поскольку медианное значение области будет цветом всех пикселей вокруг шумового пикселя.
Что касается ocr, или оптического распознавания символов, я бы просто использовал существующую программу / библиотеку, конечно, было бы возможно написать алгоритм ocr в Matlab, но это было бы гораздо большим упражнением, чем написание простого алгоритма в час. Сначала вам нужно прочитать о методах и алгоритмах ocr.