Использование числового типа данных значительно упрощает сортировку по размеру, если вы когда-нибудь захотите это сделать. Я не могу говорить за Oracle, но много раз, использование одного байта не спасет вас много, так как в любом случае оно будет помещено в 4-байтовое слово.
Кроме того, у вас есть только три размера сейчас, но в будущем у вас их может быть намного больше. Использование одного символа может сделать различие между размерами XL и XXL настоящим испытанием.
В зависимости от типа приложения, над которым вы работаете, сохранение строк, представленных пользователю в базе данных, может иметь последствия в будущем, если вам когда-нибудь понадобится локализовать ваше приложение. Если вы отправляете всю БД как часть приложения, это не составляет особого труда, если они есть в справочной таблице. Например, если вы имеете дело с веб-приложением, в котором разные пользователи должны иметь доступ к одной и той же базе данных на разных языках, это может вызвать некоторые проблемы.