RTF - это текстовый формат, который сохраняет форматирование, хотя иногда его может быть сложно создать. Он существует уже много лет, поэтому его можно читать с помощью Windows Wordpad и Word.
Чтобы узнать, как пометить текст курсивом в RTF, введите его в WordPad, выберите форматирование, которое вам нравится, и сохраните его как .rtf. После этого измените расширение на .txt и увидите код оформления вокруг вашего текста. Вы можете повторить это позже в своем приложении.
HTML проще, но открытие HTML-файла обычно запускает браузер, тогда как я считаю, что вы хотите, чтобы текстовый редактор запускался.
UPDATE:
Из ваших разъяснений я понимаю, что пользователь не должен читать файл, он будет только читаться / записываться вашей программой. В этом случае HTML намного проще и лучше подходит.
Пожалуйста, смотрите примеры загрузки RTF и HTML в JTextPane.