Не нужно сообщать компилятору. Вы можете присвоить любое допустимое значение байтовой переменной, и компилятор с ней справится: суффикса для байта нет.
Если вы хотите сохранить байт в объекте, который вы хотите разыграть:
object someValue = (byte) 123;