Apache Poi не будет выводить в CSV для вас. Однако у вас есть несколько хороших вариантов, в зависимости от того, какие данные вы пишете в CSV.
Если вы знаете, что ни одна из ваших ячеек не будет содержать маркеры csv, такие как запятые, кавычки, окончания строк, то вы можете циклически проходить по строкам данных, копировать текст в StringBuffer и отправлять его в обычный Java-ввод-вывод.
Вот пример написания SQL-запроса в CSV по этим линиям: Список рассылки Poi: запись CSV
В противном случае, вместо того, чтобы самостоятельно выяснять, как экранировать специальные символы, вы должны проверить проект opencsv