Ответы, которые не советуют закрывать и открывать файл каждый раз, совершенно правильные.
Однако, если вам абсолютно необходимо это сделать (и мне не ясно, что вы делаете), то вы можете каждый раз создавать новый FileWriter. Передайте true в качестве второго аргумента при создании FileWriter, чтобы получить тот, который добавляется к файлу вместо его замены. Нравится
FileWriter writer1 = new FileWriter(filename, true);