Вы должны использовать блок try-with-resources , чтобы каждый поток автоматически закрывался для вас.
Обратите внимание, что несколько ресурсов могут быть открыты и все будут закрыты при выходе(обычный или исключительный), закрывая каждый ресурс в обратном порядке, в котором они были открыты, как объяснено в ссылке выше.