NSDocument должен требовать любое расширение файла, настроенное для вашего документа в вашем Info.plist. Возможно ли установить флажок «Скрыть расширение»?
Если вы хотите, чтобы расширение отображалось, это постоянное предпочтение, поэтому вам придется сделать это следующим образом:
[[NSUserDefaults standardUserDefaults] setObject:[NSNumber numberWithBool:NO] forKey:@"NSNavLastUserSetHideExtensionButtonState"];