MJPEG должен работать.Я использовал его для 1080i60 около 3 лет назад, и воспроизведение никогда не было проблемой.Даже кодирование работало на лету с машиной, производительность которой весьма схожа с тем, что вы описываете.
Размер файла будет около 10 МБ / с для видео хорошего качества.
Сокращение видео поможетпотому что, если вы рисуете видео на экран с помощью, например, DirectX, вы можете использовать графический процессор, чтобы растянуть его.