Вы могли бы упростить это, изменив порядок своих условий так, чтобы вы могли запрашивать другой номер только после того, как будут выполнены все условия выхода (т.е. выигрыш или проигрыш):
import random
x = random.randint(1, 100)
correct_answer = False
guess_count = 0
answer = input("Try to guess a number in range of 1 to 100... ")
while True:
guess_count = guess_count + 1
answer = int(answer)
if answer == x:
print("You won!")
correct_answer == True
break
if guess_count > 6:
print("You ran out of chances, sorry")
break
if answer > x:
answer = input("Try a lower number:")
else:
answer = input("Try a higher number:")