Я думаю, что нашел причину проблемы с шумом щелчка. В исходном коде был создан экземпляр SampleGrabber для последующего использования FFT / Visualization. Я думал, что он просто проходит через поток, но нет, может быть, это вызывает проблемы с задержкой?
Если я уберу этот фильтр, шум щелчка исчезнет.