Разделите строку запятыми и обработайте первый элемент как число:
double value = Double.parseDouble(l.get(i).split(",")[0]);
Список отображения:
List<Double> numbers = l.stream()
.map(line -> Double.parseDouble(line.split(",")[0]))
.collect(Collectors.toList());
И сумма может быть вычислена:
numbers.stream().reduce(Double::sum)
Собираем это вместе:
List<String> l = readFileInList(pathToCsv);
List<Double> numbers = l.stream()
.map(line -> Double.parseDouble(line.split(",")[0]))
.collect(Collectors.toList());
Double sum = numbers.stream().reduce(Double::sum).get();
Double avg = sum / numbers.size();