Отправьте DirectionsService запрос DirectionsRequest, содержащий вашу начальную точку, вашу конечную точку, а затем все ваши другие объекты LatLng в качестве точек маршрута. (Вам нужно будет поместить их в объект DirectionsWaypoint.) Это должно вернуть маршрут DirectionsResult из DirectionsService, который соответствует вашему массиву объектов LatLng, если ваши объекты LatLng соответствуют реальному маршруту вдоль дороги или как угодно.
Если вы надеетесь нарисовать произвольные линии, используя DirectionsRenderer, а не маршрут, который может придумать Google Карты, то вам, вероятно, следует поискать другие способы сделать это. Вы правы, что DirectionsRenderer должен получить объект DirectionsResult. Все, что вы делаете, чтобы нарушить это требование, может рано или поздно вызвать головную боль.