Полагаю, вы хотите использовать Core Animation, верно? В этом случае ваши возможности довольно ограничены. Есть несколько классов слоев, которые отображают графику: CALayer рисует растровое изображение, CAShapeLayer рисует путь Безье, CAGradientLayer рисует линейный градиент, CATextLayer рисует текст. Вы также можете использовать OpenGL с CAEAGLLayer, но он не очень хорошо сочетается с другой графикой Quartz с точки зрения производительности. Скорее всего, вам все равно придется использовать PNG, потому что даже если у вас есть PDF-файлы, которые вы можете отображать с помощью Core Graphics, они должны быть растеризованы, прежде чем вы сможете показать их в CALayer. Более того, растеризация будет выполняться на процессоре, чего не должно происходить с каждым кадром анимации.
Что касается использования памяти, я чувствую вашу боль. Много изображений == много памяти. Core Animation не совсем игровой движок, он разработан с учетом анимации пользовательского интерфейса. Однажды я делал игру для iPhone с CA, и помимо использования памяти были проблемы с производительностью, когда одновременно происходило слишком много анимаций. Взгляните на Cocos2D, он намного лучше подходит для игр и активно развивается. Конечно, у него есть свои проблемы, заслуживающие упоминания в качестве опции.