Давайте выполним проверку с обратной стороны, используя плоское приближение. Разница по широте равна 0,006 °, а разница по долготе равна 0,01 °, но умножьте на косинус широты, чтобы получить 0,0075 °. Применить Пифагор:
>>> sqrt(0.006 ** 2 + 0.0075 ** 2)
0.0096046863561492727
, что составляет около 0,000167 радиан, очень близко к вашим вычислениям. (Еще более точная проверка: степень составляет около 69 миль, что составляет чуть более 100 км, поэтому 0,01 ° должно быть чуть более 1 км.)
Так что я думаю, что ваше предполагаемое «правильное расстояние» неверно, а не ваши вычисления.