Из руководства по Doxygen:
Выходной каталог по умолчанию - это каталог, в котором запущен doxygen. Корневой каталог, в который записывается вывод, можно изменить с помощью OUTPUT_DIRECTORY. Специальный для формата каталог в выходном каталоге может быть выбран с использованием тегов HTML_OUTPUT, RTF_OUTPUT, LATEX_OUTPUT, XML_OUTPUT и MAN_OUTPUT файла конфигурации. Если выходной каталог не существует, doxygen попытается создать его для вас (но не будет пытаться создать полный путь рекурсивно, как это делает mkdir -p).
Если у вас возникли проблемы с тем, чтобы заставить его делать то, что вы хотите, используйте doxywizard, это значительно упрощает написание файла конфигурации.