Вы можете добавить оператор if с помощью метода isnumeric
типа str
перед целочисленным приведением, например:
x = input('Enter a number: ')
if x.isnumeric(): # Returns True if x is numeric, otherwise False.
int(x) # Cast it and do what you want with it.
else: # x isn't numeric
print('You broke the rules, only numeric is accepted.')