Максимизация хранимой информации (энтропия?) - PullRequest
1 голос
/ 27 июня 2011

Так что я не уверен, принадлежит ли этот вопрос здесь или, возможно, переполнение математики. В любом случае мой вопрос касается теории информации.

Допустим, у меня есть 16-битное слово. В этом числе 65 536 уникальных конфигураций 1 и 0. То, что представляет каждая из этих конфигураций, неважно, поскольку в зависимости от вашей записи (дополнение 2 к знаковой величине и т. Д.) Одна и та же конфигурация может означать разные вещи.

Что мне интересно, есть ли какие-либо методы для хранения большего количества информации, чем в 16-битном слове?

Мои оригинальные идеи были похожи на нечетное / четное соотношение или что-то в этом роде, но потом я понял, что это уже определяется конфигурацией ... то есть в этом нет никакой дополнительной информации. Я начинаю задумываться, не существует ли такой вещи.

РЕДАКТИРОВАТЬ Например, скажем, некоторый магический компьютер (думая квант или что-то здесь) мог понять 0,1, а. Тогда, очевидно, у нас есть 3 ^ 16 конфигураций и теперь мы можем хранить больше, чем числа [0 - 65 536]. Существуют ли какие-либо другие свойства 16-битного слова, с которыми вы можете связываться, чтобы закодировать дополнительную информацию в вашем битовом потоке?

РЕДАКТИРОВАТЬ2 Я действительно изо всех сил пытаюсь выразить это словами. Прямо сейчас, когда я смотрю на 16-битное слово в компьютере, свойство, которое передает мне информацию об относительном порядке отдельных 1 и 0. Есть ли другое свойство или способ взглянуть на 16-битное слово, которое позволило бы более 2 ^ 16 уникальных «конфигураций»? ( Обратите внимание, что это больше не будет конфигурация, а 2 ^ 16 xxxx, где xxxx - существительное, описывающее экземпляр этого свойства ). Единственное, о чем я могу подумать, это что-то вроде того, если мы посмотрим на число переходов от 1 до 0 или что-то в этом роде, а не на то, был ли каждый бит на самом деле 1 или 0? Теперь переходы не дают более 2 ^ 16 комбинаций, поскольку в конечном итоге они зависят исключительно от конфигурации единиц и нулей. Я ищу свойства, которые были бы получены из конфигурации 1 и 0 И что-то еще, что привело бы к БОЛЬШЕ , чем 2 ^ 16. Кто-нибудь знает, как бы это называлось, если бы оно существовало?


EDIT3 Хорошо, я понял. Мой вопрос сводится к следующему: как мы докажем, что конфигурация 1 и 0 в слове полностью определяет это? И.Е. Как мы можем доказать, что вам не нужна никакая другая информация, кроме растрового изображения, чтобы показать равенство между двумя 16-битными словами?


ЗАКЛЮЧИТЕЛЬНОЕ РЕДАКТИРОВАНИЕ

У меня есть пример ... Если вместо того, чтобы смотреть на наличие 1 и 0, мы смотрим на переход между битами, мы можем хранить 2 ^ 16 буквенных символов. Если бит слева направо одинаков, обработайте его как 1, если он переходит, обработайте его как 0. Используя 16-битное слово как структуру типа списка с круговой связью, где каждая ссылка представляет 0/1, мы в основном для 16-битного слово из перехода между битами. Это точный пример того, что я искал, но в результате 2 ^ 16, ничего лучше. Я убежден, что вы не можете сделать лучше, и отмечаю правильный ответ = (

Ответы [ 2 ]

2 голосов
/ 27 июня 2011

Количество информации в конкретной конфигурации 16 0/1 с определяется вероятностью этой конфигурации (это называется самоинформацией).Это может быть больше 16 бит, если конфигурация менее вероятна, чем 1 / (2 ^ 16), но это означает, что некоторые другие конфигурации более вероятны, чем 1 / (2 ^ 16) и поэтому будут содержать меньше информации, чем 16 бит.

Чтобы учесть все возможные конфигурации, вы должны использовать ожидаемое значение самоинформации (называемое энтропией) отдельных конфигураций.Это значение достигнет своего максимума, когда вероятности всех конфигураций равны (то есть 1 / (2 ^ 16)), и тогда оно будет ровно 16 бит.

Таким образом, ответ - нет, вы не можете хранить более 16 бит информации за 16 0/1 с.

См.

РЕДАКТИРОВАТЬ Важно понимать, что бит не обозначает 0 или 1, но это единица информации, то есть -log_2 P (w) где P (w) - вероятность конкретной конфигурации.

0 голосов
/ 27 июня 2011

Вы не можете хранить более 2 состояний в одной цифре полупроводникового устройства. Вы сами ответили. Единственный способ добавить больше информации в 16 цифр - это если бы каждая цифра имела много возможных значений.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...