MTOM - это просто оптимизированный формат кодирования сообщений. Он обозначает механизм оптимизации передачи сообщений и передает в виде байтов вместо угловых скобок (иначе XML). Здесь - базовое введение в использование MTOM с WCF.
Этот небольшой пример поможет вам начать работу, если вы хотите использовать потоковую передачу, что очень удобно, если вы хотите передавать большие файлы.