Нужно ли регистрировать новые типы расширений в Apple перед выпуском приложения, которое создаст их в OS X?
Нет, нет необходимости регистрировать расширения.
Кроме того, в разделе часто задаваемых вопросов на веб-сайте Apple Developer Connection (ADC) есть немного больше информации:
http://developer.apple.com/faq/datatype.html