Итак, немного поиграв с кодами преобразования цветов, я обнаружил, что это решение работает для меня.
cv::Mat img = cv::Mat(m_videoHeight, m_videoWidth, CV_8UC2, input->bits());
cv::Mat gray;
cv::cvtColor(img, gray, cv::COLOR_YUV2GRAY_YVYU);
Это преобразует данный объект Mat YUYV - img в объект Mat в градациях серого - серый. input-> bits () относится к первому биту буфера видеокадров.