Как я могу вычислить информацию (или энтропию), содержащуюся в битовой строке?
Уравнение Шеннона для энтропии не является решением, оно просто считает 1 и 0, поэтому для строки:
010101 ...
Я получаю максимальную энтропию, даже если строка строго упорядочена и, следовательно, содержит небольшое количество информации.
Авто-кодировщики Шов полезен, но вы не можете сказать, сколько информации они «крадут», другими словами, насколько они превышают размер. Например, если я натренирую его на строку длиной N-бит с длиной ввода N-1, он просто запомнит каждый бит, что приведет к выводу информации в виде 0.
Я знаю, что лучшее, что может сделать алгоритм сжатия , - это достичь максимальной энтропии, а полученная информация - это длина выходной строки, но я не думаю, что это хорошо обобщает плюс какой такой алгоритм?
Имеет ли это какое-то отношение к энтропии Шеннона, вычисленной на n-кортежах для n = 1 ... N?
Мое лучшее предположение - использовать матрицу вероятностей того, что подстрока «i» длиной в n бит будет следовать за другой («j»).
Кто-нибудь может помочь?