Нет жесткого и быстрого ограничения, но для разработки флэш-игр, предназначенных для компьютеров среднего и низкого уровня, мы обнаружили, что поддержание объема памяти ниже 500 МБ значительно снижает случайные сбои. :-D Вероятно, вы увидите другие ограничения масштабируемости (вычислительная мощность, однопотоковость) еще до того, как увидите ограничения емкости памяти, если только вы не генерируете много данных локально, процедурно (например, с помощью сгенерированных растровых изображений).
Я всегда рекомендую переключиться на AS3, но я не думаю, что управление памятью станет пробой в AS2.