Я получил сообщение об ошибке с @Jan ответом
Error:(13, 35) java: reference to execute is ambiguous
both method execute(java.lang.String...) in com.sun.tools.javadoc.Main and method execute(java.lang.String,java.lang.String...) in com.sun.tools.javadoc.Main match
После изменения этого кода, и он хорошо работает
com.sun.tools.javadoc.Main.execute(new String[]{
"-doclet", CustomDoclet.class.getName(),
"path/to/src/XXX.java"
});