На какой площади расположены эти координаты? На какой широте они? Какую точность вы требуете? Если они довольно близко друг к другу, вы, вероятно, можете игнорировать тот факт, что Земля круглая, и просто рассматривать это как декартову плоскость, а не возиться со сферической геометрией и большим круговым расстоянием. Конечно, когда вы удаляетесь от экватора, градусы долготы становятся меньше по сравнению с градусами широты, поэтому может быть уместен некоторый коэффициент масштабирования.
Начните с довольно простой формулы расстояния и поиска методом грубой силы и посмотрите, сколько времени это займет, и достаточно ли точны результаты, прежде чем вы начнете фантазировать.