Вам необходимо добавить DocumentListener к Документу , который поддерживает текстовую область.
Затем в методах обратного вызова (insertUpdate (), removeUpdate (), changeUpdate ()) слушателя просто установите флаг, что что-то изменилось, и проверьте этот флаг перед закрытием приложения
public class MyPanel
implements DocumentListener
{
private boolean changed;
public MyPanel()
{
JTextArea textArea = new JTextArea();
textArea.getDocument().addDocumentListener(this);
.....
}
.....
public void insertUpdate(DocumentEvent e)
{
changed = true;
}
public void removeUpdate(DocumentEvent e)
{
changed = true;
}
public void changedUpdate(DocumentEvent e)
{
changed = true;
}
}