Нужен FileMode.Append.Согласно doc :
Открывает файл, если он существует, и ищет в конце файла, или создает новый файл.Это требует добавления разрешения.FileMode.Append можно использовать только в сочетании с FileAccess.Write.Попытка поиска позиции до конца файла вызывает исключение IOException, и любая попытка чтения завершается неудачей и вызывает исключение NotSupportedException.
Таким образом, решение будет:
stream = new FileStream(filePath, FileMode.Append);
Или вы можете иметь явную проверку вроде:
if(!File.Exists(fileName))
{ // create a new file
}
else //Append to a file