В основном, если у вас есть координаты центра окружности (cX, cY) и радиуса R и некоторый маркер в X, Y, вы можете выполнить следующие вычисления:
var distanceQuad = (X-cX)*(X-cX)+(Y-cY)*(Y-cY)
if (distanceQuad<=(R*R))
{
alert("Marker inside circle!");
}
Это из тригонометрииВы вычисляете расстояние как sqrt (sqr (deltaX) + sqr (deltaY)) и сравниваете его с радиусом круга.Данный код немного оптимизирован, чтобы избавиться от вычисления квадратного корня.