Я думаю, что вы должны пойти на
Document doc = editorPane.getDocument();
// remove the text you want to replace
doc.remove(startingOffset, length);
// add replacement
doc.insertString(startingOffset, newText, attributes);
Конечно, вам нужно знать, где начинается текст, который вы хотите заменить, и как долго это будет ..