Это зависит от вашего определения алфавита.Если вы хотите представить один символ из 26-буквенного латинского алфавита (AZ), то вам нужно log2 (26) = 4,7 бита.Очевидно, что на практике вам потребуется 5 битов.
Однако, учитывая бесконечный поток символов, теоретически можно придумать схему кодирования, которая будет близка к 4,7 битам (просто не будетсопоставление «один к одному» между отдельными символами и битовыми векторами).
Если вы говорите о представлении реального человеческого языка, то вы можете получить намного меньшее значение, чем это (в области1,5 бит / символ), из-за избыточности.Но это слишком сложно, чтобы войти в один пост здесь ... (ключевые слова Google - "энтропия" и "информационный контент").