Я думаю, что проще всего выяснить, где находится пересечение линии и окружности, а затем просто вычислить расстояние от точки отрезка линии с точкой пересечения.
Итак, скажем, ваш круг описывается уравнением
x^2 + y^2 = 5
и ваш отрезок равен точкам
(1,3), (2,4)
Сначала вы вычисляете уравнение для линии, которая находится непосредственно над сегментом, которая в этом случае будет
y = x + 2
Затем вы подставляете это уравнение в первое уравнение, и вы получаете
x^2 + (x+2)^2 = 5
Упростите это до
2x^2 + 4x - 1 = 0
и решить с помощью квадратичной формулы.
Теперь у вас есть координаты x двух точек пересечения. Оттуда подключитесь к уравнению линии, чтобы получить координаты y. Тогда вы можете просто сделать нормальный расчет расстояния до точки аля Пифагора.
sqrt ( (x1 - x2)^2 + (y1 - y2)^2 )