Для этого вам нужно трехмерное пространство Хафа, параметризованное по центру-х, центру-у и радиусу окружности. Тогда ваше наиболее вероятное положение и радиус задаются как максимум в 3D-пространстве Хафа. Боюсь, это за пределами возможностей ImageJ, но писать код вручную довольно просто.