Это работает для меня (Java 6, Windows, JScrollPane, содержащая JPanel, мышь вращается над JPanel).JPanel с закругленными 100 пиксельными границами, минимальный размер 1000x1000, предпочтительный размер (4000x4000).
Так что я предполагаю, что ваш существующий код мешает.Попробуйте отдельный пример, а затем переработайте ваше приложение.