В зависимости от типов обновлений, которые вы делаете, изменение PDF будет проблемой - оно не предназначено для редактирования. Возможно, вам придется сначала найти способ конвертировать PDF-файл во что-то, а затем редактировать. В зависимости от типов изменений, которые вы хотите внести, и документов, с которыми вы работаете, даже редактирование файлов DOC и Writer будет непростым делом. Они все разные форматы.
Как отметил Джаян, iText и POI могут вам немного помочь. Документы OpenOffice Writer можно редактировать, разархивировав и изменив XML или используя UNO API. Документы Word можно редактировать, используя автоматизацию MS Office (плохая идея), сначала конвертируя в OpenOffice, затем редактируя, или, если DOCX, разархивируйте и обработайте XML.
Удачи.