Вы можете попробовать две разные вещи.
Вариант 1: (вместо этого преобразуется в число с плавающей запятой. Это может не сработать, но будет исключено, если у вас есть возраст, для которого есть значения, которые не могут быть int, но может быть числом с плавающей точкой.)
modified_df['Age'] = modified_df['Age'].astype('float')
Вариант 2: (игнорирует все, что вызывает ошибку, и возвращает исходное значение)
modified_df['Age'] = modified_df['Age'].astype('int',errors = 'ignore')