Преобразуйте изображение RGB в серый, а затем выполните сопоставление:
Mat rgb_image, rgb_now_grey;
Mat grey_image;
grey_image = imgread("grey.png");
rgb_image = imread("colour.png");
cvtColor(rgb_image, rgb_now_grey, CV_RGB2GRAY);
// register_images(rgb_now_grey, grey_image);