Как масштабировать, обрезать и вращать все сразу в Android RenderScript - PullRequest
Новая
       24

Как масштабировать, обрезать и вращать все сразу в Android RenderScript

0 голосов
/ 22 января 2019

Можно ли сделать снимок с камеры в формате Y'UV и используя RenderScript:

  1. Конвертировать в RGBA
  2. Обрезка до определенного региона
  3. При необходимости поверните

1 Ответ

0 голосов
/ 22 января 2019

Да!Я понял, как и думал, что поделюсь этим с другими.RenderScript имеет некоторую кривую обучения, и более простые примеры, кажется, помогают.

При кадрировании вам все равно нужно настроить распределение входов и выходов, а также распределение для самого сценария.Поначалу это может показаться странным, но распределение входов и выходов должно быть одинакового размера, поэтому, если вы обрезаете, вам нужно настроить еще одно распределение для записи обрезанного вывода.Подробнее об этом за секунду. 

#pragma version(1)
#pragma rs java_package_name(com.autofrog.chrispvision)
#pragma rs_fp_relaxed

/*
 * This is mInputAllocation
 */
rs_allocation gInputFrame;

/*
 * This is where we write our cropped image
 */
rs_allocation gOutputFrame;

/*
 * These dimensions define the crop region that we want
 */
uint32_t xStart, yStart;
uint32_t outputWidth, outputHeight;

uchar4 __attribute__((kernel)) yuv2rgbFrames(uchar4 in, uint32_t x, uint32_t y)
{
    uchar Y = rsGetElementAtYuv_uchar_Y(gInputFrame, x, y);
    uchar U = rsGetElementAtYuv_uchar_U(gInputFrame, x, y);
    uchar V = rsGetElementAtYuv_uchar_V(gInputFrame, x, y);

    uchar4 rgba = rsYuvToRGBA_uchar4(Y, U, V);

    /* force the alpha channel to opaque - the conversion doesn't seem to do this */
    rgba.a = 0xFF;

    uint32_t translated_x = x - xStart;
    uint32_t translated_y = y - yStart;

    uint32_t x_rotated = outputWidth - translated_y;
    uint32_t y_rotated = translated_x;

    rsSetElementAt_uchar4(gOutputFrame, rgba, x_rotated, y_rotated);
    return rgba;
}

Чтобы настроить распределение: 

private fun createAllocations(rs: RenderScript) {

    /*
     * The yuvTypeBuilder is for the input from the camera.  It has to be the
     * same size as the camera (preview) image
     */
    val yuvTypeBuilder = Type.Builder(rs, Element.YUV(rs))
    yuvTypeBuilder.setX(mImageSize.width)
    yuvTypeBuilder.setY(mImageSize.height)
    yuvTypeBuilder.setYuvFormat(ImageFormat.YUV_420_888)
    mInputAllocation = Allocation.createTyped(
        rs, yuvTypeBuilder.create(),
        Allocation.USAGE_IO_INPUT or Allocation.USAGE_SCRIPT)

    /*
     * The RGB type is also the same size as the input image.  Other examples write this as
     * an int but I don't see a reason why you wouldn't be more explicit about it to make
     * the code more readable.
     */
    val rgbType = Type.createXY(rs, Element.RGBA_8888(rs), mImageSize.width, mImageSize.height)

    mScriptAllocation = Allocation.createTyped(
        rs, rgbType,
        Allocation.USAGE_SCRIPT)

    mOutputAllocation = Allocation.createTyped(
        rs, rgbType,
        Allocation.USAGE_IO_OUTPUT or Allocation.USAGE_SCRIPT)

    /*
     * Finally, set up an allocation to which we will write our cropped image.  The
     * dimensions of this one are (wantx,wanty)
     */
    val rgbCroppedType = Type.createXY(rs, Element.RGBA_8888(rs), wantx, wanty)
    mOutputAllocationRGB = Allocation.createTyped(
        rs, rgbCroppedType,
        Allocation.USAGE_SCRIPT)
}

Наконец, поскольку вы обрезаете, вам нужно сказать сценарию, что делать перед вызовом.Если размеры изображения не меняются, вы, вероятно, можете оптимизировать это, переместив LaunchOptions и настройки переменных, чтобы они появлялись только один раз (а не каждый раз), но я оставлю их здесь для моего примера, чтобы сделать его более понятным. 

override fun onBufferAvailable(a: Allocation) {
    // Get the new frame into the input allocation
    mInputAllocation!!.ioReceive()

    // Run processing pass if we should send a frame
    val current = System.currentTimeMillis()
    if (current - mLastProcessed >= mFrameEveryMs) {
        val lo = Script.LaunchOptions()

        /*
         * These coordinates are the portion of the original image that we want to
         * include.  Because we're rotating (in this case) x and y are reversed
         * (but still offset from the actual center of each dimension)
         */

        lo.setX(starty, endy)
        lo.setY(startx, endx)

        mScriptHandle.set_xStart(lo.xStart.toLong())
        mScriptHandle.set_yStart(lo.yStart.toLong())

        mScriptHandle.set_outputWidth(wantx.toLong())
        mScriptHandle.set_outputHeight(wanty.toLong())

        mScriptHandle.forEach_yuv2rgbFrames(mScriptAllocation, mOutputAllocation, lo)

        val output = Bitmap.createBitmap(
            wantx, wanty,
            Bitmap.Config.ARGB_8888
        )

        mOutputAllocationRGB!!.copyTo(output)

        /* Do something with the resulting bitmap */
        listener?.invoke(output)

        mLastProcessed = current
    }
}

Все это может показаться немного сложным, но это очень быстро - намного быстрее, чем вращение на стороне java / kotlin, и благодаря способности RenderScript запускать функцию ядра над подмножеством изображения, это снижает затратычем создание растрового изображения, а затем создание второго, обрезанного.

Для меня все повороты необходимы, потому что изображение, видимое с помощью RenderScript, было повернуто на 90 градусов от камеры.Мне сказали, что это какая-то особенность наличия телефона Samsung.

Поначалу RenderScript пугал, но как только вы привыкли к тому, что он делает, это не так уж плохо.Надеюсь, это кому-нибудь пригодится.

...