Запустите таймер (или любой другой) для периодического преобразования CALayer анимации в UIImage (см. здесь ), затем запишите это изображение в AVAssetWriter, как видно из других примеров, которые вы цитируете. Вам также необходимо отслеживать истекшее время, потому что в конечном итоге вы пытаетесь настроить вызов - [AVAssetWriterPixelBufferAdapter appendPixelBuffer: atPresentationTime:].
Несколько месяцев назад я выступил с докладом , который регулярно снимал экран и снимал его, под названием VTM_ScreenRecorder.zip. Единственное отличие для вас может заключаться в том, что мой код получает CALayer окна, и вы, кажется, интересуетесь каким-то другим слоем (тем, который вы анимируете).