Многие фильтры в ITK были написаны, чтобы быть общими, но не обязательно оптимизированными.OpenCV, с другой стороны, был сильно оптимизирован.Неудивительно, что ITK будет намного медленнее.
Поскольку ITK сильно шаблонизирован, он опирается на вызовы функций, встроенные в компилятор.Если вы скомпилировали Debug (который может быть вашим по умолчанию), ITK будет работать очень медленно (сделайте это Reaaaaaallllllllyyyyyy sssssslllooooowwwww).Попробуйте снова после компиляции в режиме Release.