Анализатор говорит вам, что XML не правильно сформирован, но эта ошибка обычно отображается, потому что ничего не было сгенерировано ДО запуска docsetutil.
Первым делом нужно пройтись по многим строкам вывода на консоль и посмотреть предупреждения, вероятно, там есть. Также найдите созданный вами набор документов и щелкните правой кнопкой мыши> Показать содержимое. Если вы не видите много html-файлов с документацией, то же самое: вы не смогли сгенерировать документацию, и docsetutil не имеет ничего общего. И, кстати, docsetutil использует CoreData, не имеет значения, используете ли вы его в своем проекте или нет.
Я не понимаю, почему Apple не предоставляет подобный doxygen инструмент, более тесно интегрированный. Или лучший форматировщик кода, чем Crustify. Просто возьмите эти чертовы инструменты и немного их улучшите. Argh!