Вы реализуете это так же, как 2D Hough space, но с дополнительным параметром. Псевдокод будет выглядеть так:
for each (x,y) in image
for each test_radius in [min_radius .. max_radius]
for each point (tx,ty) in the circle with radius test_radius around (x,y)
HoughSpace(tx,ty,test_radius) += image(x,y)