Я обнаружил, что причина в том, что я пытался получить доступ к pixelBuffer из ЦП и поэтому требует, чтобы адрес CVPixelBuffer был заблокирован по определенному адресу в памяти.
CVPixelBufferLockBaseAddress(cvPixelBuffer, CVPixelBufferLockFlags.readOnly)
let baseAddress = CVPixelBufferGetBaseAddressOfPlane(cvPixelBuffer, 0)
CVPixelBufferUnlockBaseAddress(cvPixelBuffer, CVPixelBufferLockFlags.readOnly)
Это работает!