Пока вы переводите SwingWorker в спящий режим, он не будет загружать данные. Если это желательно, то такой подход хорош.
Если вы хотите продолжать загружать данные и просто увеличивать скорость подачи в GUI, то, похоже, лучше было бы запустить Timer в GUI, который будет проверять и извлекать новые данные из рабочего с интервалом, вместо этого работника, которому приходится совершать invokeLater
вызовы обратно в GUI.