Мы получаем наше изображение из функции takePicture () - здесь мы используем здесь jpeg callback (третий параметр), так как мы не смогли получить необработанное изображение - даже после установки обратного вызовабуфер до максимального размера.Таким образом, изображение сжимается в формат JPEG - с другой стороны, нам нужно, чтобы наше изображение было в том же формате, что и кадры предварительного просмотра: YCbCr_420_SP (NV21) (этот формат ожидается от сторонней библиотеки, которую мы используем иу нас нет ресурсов для повторной реализации)
Мы попытались установить формат изображения в параметрах при инициализации камеры с помощью setPictureFormat () , что, к сожалению, не помогло.Я предполагаю, что эта функция применяется только к необработанному обратному вызову.
У нас есть доступ к библиотеке OpenCV C на стороне JNI, но мы не знаем, как реализовать преобразование с помощью IplImage.
Так что в настоящее время мы используем следующую реализацию Java для преобразованияс очень низкой производительностью (около 2 секунд для изображения с размерами 3840x2160):
byte [] getNV21(int inputWidth, int inputHeight, Bitmap scaled) {
int [] argb = new int[inputWidth * inputHeight];
scaled.getPixels(argb, 0, inputWidth, 0, 0, inputWidth, inputHeight);
byte [] yuv = new byte[inputWidth*inputHeight*3/2];
encodeYUV420SP(yuv, argb, inputWidth, inputHeight);
scaled.recycle();
return yuv;
}
void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) {
final int frameSize = width * height;
int yIndex = 0;
int uvIndex = frameSize;
int R, G, B, Y, U, V;
int index = 0;
for (int j = 0; j < height; j++) {
for (int i = 0; i < width; i++) {
R = (argb[index] & 0xff0000) >> 16;
G = (argb[index] & 0xff00) >> 8;
B = (argb[index] & 0xff) >> 0;
// well known RGB to YUV algorithm
Y = ( ( 66 * R + 129 * G + 25 * B + 128) >> 8) + 16;
U = ( ( -38 * R - 74 * G + 112 * B + 128) >> 8) + 128;
V = ( ( 112 * R - 94 * G - 18 * B + 128) >> 8) + 128;
// NV21 has a plane of Y and interleaved planes of VU each sampled by a factor of 2
// meaning for every 4 Y pixels there are 1 V and 1 U. Note the sampling is every other
// pixel AND every other scanline.
yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));
if (j % 2 == 0 && index % 2 == 0) {
yuv420sp[uvIndex++] = (byte)((V<0) ? 0 : ((V > 255) ? 255 : V));
yuv420sp[uvIndex++] = (byte)((U<0) ? 0 : ((U > 255) ? 255 : U));
}
index ++;
}
}
}
Кто-нибудь знает, как будет выглядеть преобразование с помощью OpenCV C или, наоборот, может предложить более эффективныйРеализация Java?
Обновление: После переопределения класса камеры для использования API камеры2 мы получаем объект Image в формате YUV_420_888.Затем мы используем следующую функцию для преобразования в NV21:
private static byte[] YUV_420_888toNV21(Image image) {
byte[] nv21;
ByteBuffer yBuffer = image.getPlanes()[0].getBuffer();
ByteBuffer uBuffer = image.getPlanes()[1].getBuffer();
ByteBuffer vBuffer = image.getPlanes()[2].getBuffer();
int ySize = yBuffer.remaining();
int uSize = uBuffer.remaining();
int vSize = vBuffer.remaining();
nv21 = new byte[ySize + uSize + vSize];
//U and V are swapped
yBuffer.get(nv21, 0, ySize);
vBuffer.get(nv21, ySize, vSize);
uBuffer.get(nv21, ySize + vSize, uSize);
return nv21;
}
Хотя эта функция отлично работает с cameraCaptureSessions.setRepeatingRequest, мы получаем ошибку сегментации при вызове cameraCaptureSessions.capture.Оба запрашивают формат YUV_420_888 через ImageReader.