Как правильно указал @mkl в своем комментарии, работа в режиме добавления накладывает дополнительные требования на измененные объекты, которые должны быть помечены как таковые. iText должен делать это негласно для большинства операций, но в этом случае этого не происходит, что является ошибкой. Простое решение доступно, хотя. Вы можете получить необходимый PDF-объект и пометить его как измененный самостоятельно. Вот полное решение:
PdfDocument pdfDocument = new PdfDocument(
new PdfReader(INPUT),
new PdfWriter(OUTPUT),
new StampingProperties().useAppendMode());
try (pdfDocument) {
List<PdfOutline> outlines = pdfDocument.getOutlines(false).getAllChildren();
for (PdfOutline outline : outlines) {
outline.setTitle("Title");
outline.getContent().setModified();
}
}