Используйте HSSFCellStyle, у этого класса есть метод setRotation (краткое вращение), который будет вращать текст.Все, что вы делаете, это применяете стиль ячейки к ячейке:
HSSFCellStyle myStyle = workbook.createCellStyle();
myStyle.setRotation((short)90);
HSSFCell c = row.createCell(columnNumber);
c.setCellStyle(myStyle);