Выходной формат - ARGB. SDL работает с поверхностями RGB, поэтому я не понимаю вашего заявления о том, что «нет никакой поддержки {для SDL} RGB."
Тем не менее, собственный интерфейс ускорения видео X поддерживает только вход YUV. Преобразование YUV-> RGB на графическом процессоре происходит бесплатно, если вы используете интерфейс ускорения видео. Здесь не пропадают "циклы".
Возможно, вам следует более подробно рассказать о ваших целях. С какой частотой кадров мы имеем здесь дело?