Вам нужно разделить значение максимального расстояния на 111,12 (один градус равен приблизительно 111,12 километра), чтобы преобразовать радиус градуса в расстояние в километрах.
, чтобы вы могли попробовать это
RentModel.find({prop_location : { $near : [msg.lat, msg.lng], $maxDistance : 500/111.2}})
НоТо же самое работает и для сферных запросов: там нужно делить радиус градуса на радиус Земли 6371, чтобы работать со значениями в км