Вы потеряете дубликаты, если действительно захотите их. Если на самом деле это список «голосов», как подсказывает ваше наименование, вы «потеряете» некоторые из них:
почему бы просто:
if x in set(request.session['vote_set'])
если вы волнуетесь.
Хотя мне интересно, будет ли это медленнее, чем просто:
if x in request.session['vote_set']
А порядок, как уже упоминали другие, потенциально (скорее всего) будет потерян.