Попробуйте преобразовать YUV в RGB. Что-то вроде:
img_convert_ctx = sws_getContext(320,
192,
PIX_FMT_YUV420P,
480,
320,
PIX_FMT_RGB24,
sws_flags, NULL, NULL, NULL);
и затем:
if (frameData->data[0]) {
sws_scale (img_convert_ctx, frameData->data, frameData->linesize,
0, 192,
picture.data, picture.linesize);
}