cv::Mat colorMat, grayscaleMat, binaryMat;
Сначала преобразовать в оттенки серого:
cv::cvtColor(colorMat, grayscaleMat, CV_BGR2GRAY);
Затем примените двоичный порог к изображению в градациях серого:
cv::threshold(grayscaleMat, binaryMat, 100, 255, cv::THRESH_BINARY);
Также вы можете рассмотреть возможность использования OpenCV4Android SDK .