Вы никогда не найдете способ вырваться из цикла:
while (counter >= 0){
score = input.nextInt();
total = total + score;
counter++;
}
будет зацикливаться 2 миллиарда раз (нет, я не преувеличиваю), так каку вас нет другого способа вырваться.
То, что вы, вероятно, хотите, это изменить условие петли на следующее:
int score = 0;
while (score >= 0){
Это произойдет, когда будет введен отрицательный результат.
Кроме того, у вас есть целочисленное деление в конце.Вы хотите сделать число с плавающей запятой, поэтому измените объявление на это:
double average;
и измените эту строку на это:
average = (double)total / 10.;