Первое, что вам нужно сделать:
Когда вы работаете с форматом Excel 2007, целесообразнее использовать XSSF-реализации, потому что вы использовали абстрактные реализации. Всегда помните об этом при использовании любой реализации.
Чтобы добавить к существующему файлу, вам нужно достичь конца строк в этом конкретном листе книги. Это может быть достигнуто путем:
int rows = sheet.getPhysicalNumberOfRows(); // or sheet.getLastRowNum();
После этого вы можете создавать новые ячейки с классами реализации XSSF. Для получения дополнительной информации см. эта страница