Да, вы теряете информацию, объединяя все три канала в одноканальное изображение в градациях серого.
Конечно, существуют алгоритмы, которые используют 3 канала для вычисления карты диспаратности, но opencv не содержит функций, которые реализуют этиалгоритмы.
Рассматривали ли вы удаление каждого канала R, G и B и вычисление соответствия для каждого отдельно?Конечно, вам нужно найти умный способ объединить результаты в одну окончательную карту диспаратности, но это может быть весело!