@ Jacob уже показал вам, как использовать фильтр Гаусса в Matlab, поэтому я не буду повторять это.
Я бы выбрал размер фильтра около 3 * сигма в каждом направлении (от округленного до нечетного целого числа). Таким образом, фильтр затухает почти до нуля по краям, и вы не получите разрывов в отфильтрованном изображении.
Выбор сигмы во многом зависит от того, что вы хотите сделать. Гауссово сглаживание - это фильтрация нижних частот, что означает, что оно подавляет высокочастотные детали (шум, но также и края), сохраняя при этом низкочастотные части изображения (то есть те, которые не сильно меняются). Другими словами, фильтр размывает все, что меньше фильтра.
Если вы хотите подавить шум на изображении, например, чтобы улучшить обнаружение мелких объектов, я предлагаю выбрать сигму, которая делает гауссовский элемент немного меньше, чем объект.