Я нашел решение, соответствующее моим потребностям.
Я попробовал несколько быстрых и грязных алгоритмов размытия и нашел достаточно Box Blur и Stack Blur Размытие в стеке имеет более чистое размытие, чем в Box Blur, и в несколько раз быстрее, чем Gaussian. Поэтому я могу использовать любой из них вместо гауссовского.
Так что теперь я могу избавиться от всего беспорядка кода FFT и заменить его чем-то намного более управляемым. Это решение может быть не для всех, но поскольку UnsharpMask основан на размытии, я не чувствовал, что это слишком точная наука.
Кстати, гауссово размытие в Gimp, похоже, также избегает БПФ.