Помимо исчерпания пула соединений (как большинство ответов до сих пор), вам грозит блокировка данных.
Если вы читаете или записываете в таблицу, некоторая семантика блокировки приведет к тому, что определенные строки будут заблокированы для других соединений. Это особенно верно, если у вас есть открытая транзакция для соединения.
Чтение и запись могут затем потерпеть неудачу, и приложение будет выдавать исключения повсюду.
Короче, всегда закрывайте соединение.