Насколько я могу судить из документации QTKit, нет способа сделать это в прямых вызовах QTKit какао. Вам нужно сделать это с помощью API Quicktime-C , которые, конечно, недоступны для 64-битных приложений.
Я неоднократно сталкивался с подобными проблемами при попытке преобразовать 32-разрядное приложение, использующее Quicktime, в 64-разрядное приложение. Мы надеемся, что Quicktime X будет иметь более полнофункциональный набор API QTKit.