У меня была та же проблема: размер 320x240 жестко закодирован в jscam.as (основной файл для двоичного файла swf).Вам просто нужно изменить эти размеры и перекомпилировать SWF.
// jscam.as
166. for (var i = 0; i < 240; ++i) {
becomes: for (var i = 0; i < Stage.height; ++i) {
169. for (var j=0; j < 320; ++j) {
becomes: for (var j=0; j < Stage.width; ++j) {
166. for (var i = 0; i < 240; ++i) {
becomes: for (var i = 0; i < Stage.height; ++i) {
169. for (var j=0; j < 320; ++j) {
becomes: for (var j=0; j < Stage.width; ++j) {