Если ваша информация не сложна (может быть описана вектором до 4-х каналов), вы можете сохранить информацию в другом cv :: Mat того же размера, что и ваше изображение.Если информация для каждого пикселя более сложная, вы можете сохранить указатель в каждом элементе матрицы:
cv::Mat additionalInfo(image.size(), CV_32S); // CV_32S = int (usually the type used for pointers)
additionalInfo.at<CV_32S>(col,row) = new ComplexStruct; // Writing
ComplexStruct* info = additionalInfo.at<CV_32S>(col,row); // Reading
Перед тем, как попробовать этот подход, убедитесь, что: sizeof (CV_32S) == sizeof (ComplexStruct *)