Просто добавьте null
проверку answers.get(questionId)
всякий раз, когда вы пытаетесь получить доступ к этому объекту или манипулировать им.
public class SharedViewModel extends ViewModel {
public void setAnswer(int questionId, String answer) {
if(answers.get(questionId)!=null){
answers.get(questionId).setValue(answer);
}
}
}
Если вы используете Java8 и выше, вы также можете использовать
//nonNull will return true if object is not null
if(Objects.nonNull(answers.get(questionId))){
answers.get(questionId).setValue(answer);
}