Нет, MaskedTextBox нельзя использовать для ограничения ввода шестнадцатеричным путем использования маски, но любое текстовое поле можно использовать, подключив обработчик события к событию KeyUp (или KeyPress). Затем обработчик может проверить введенный символ по шестнадцатеричному набору ([0-9a-fA-F]) и отклонить печать, если она недействительна.