Точка C, которую вы хотите, находится в плоскости, которая содержит A, B и G. Вы вычисляете
AG = G - A;
BG = G - B;
N = cross(AG, BG);
N = N / norm( N ); % the normal to the plane
Теперь вы решаете для C в этой плоскости.Три уравнения:
dot((C-G), N)=0;
sqrt(sum(A-C).^2) = R;
sqrt(sum(B-C).^2) = R;
Три неизвестных - это три элемента C. У вас есть два решения, поэтому вычислите расстояние до G и выберите более близкое.