Практический способ объяснения «Теории информации»

Question

Теория информации вступает в игру там, где присутствует кодирование и декодирование. Например: сжатие (мультимедиа), криптография.

В теории информации мы встречаемся с такими терминами, как «энтропия», «самоинформация», «взаимная информация», и весь предмет основан на этих терминах. Которые просто звучат не более чем абстрактно. Честно говоря, они не имеют никакого смысла.

Есть ли какая-нибудь книга / материал / объяснение (если вы можете), которое объясняет эти вещи на практике?

EDIT:

Введение в теорию информации: символы, сигналы и шум Джона Робинсона Пирса - это Книга , объясняющая это так, как я хочу (практически). Это слишком хорошо. Я начал читать.

Answer 1

Оригинальная статья Шенона " Математическая теория коммуникации " является одним очень очень важным ресурсом для изучения этой теории. Никто не должен пропустить это.

Прочитав его, вы поймете, как Шенон пришел к теории, которая должна устранить большинство сомнений.

Также очень полезно будет изучить алгоритма сжатия Хаффмана .

EDIT:

Введение в теорию информации

Джон Р. Пирс

кажется хорошим по отзывам амазонки (я не пробовал).

[by Googleing "специалист по теории информации"]

Answer 2

Мое собственное мнение о «Теории информации» заключается в том, что по сути это просто математика / статистика, а потому, что она применяется к коммуникациям / сигналам, она называется «Теория информации».

Лучший способ начать понимать концепции - поставить перед собой реальную задачу. Скажем, например, возьмите несколько страниц вашего любимого блога, сохраните его в виде текстового файла, а затем попытайтесь уменьшить размер файла, одновременно гарантируя, что вы все равно сможете полностью восстановить файл (т.е. сжатие без потерь). Например, вы начнете заменять все экземпляры и на 1, например ....

Я всегда придерживаюсь мнения, что наилучшим подходом будет изучение на практике

Answer 3

Я помню статьи в «Персональном компьютерном мире», в которых была представлена ​​версия ID3 для идентификации монет, хотя в ней использовалась эвристическая альтернатива формуле журнала. Я думаю, что это сводит к минимуму суммы квадратов, а не максимизирует энтропию - но это было давно. В байте (я думаю) была другая статья, в которой использовалась формула журнала для информации (а не для энтропии) для подобных вещей. Подобные вещи помогли мне справиться с теорией.

РЕДАКТИРОВАТЬ - под "не энтропией" я имею в виду, я думаю, что он использовал средневзвешенные значения информации, но не использовал имя "энтропии".

Я думаю, что построение простых деревьев решений из таблиц решений - очень хороший способ понять связь между вероятностью и информацией. Он делает связь между вероятностью и информацией более интуитивной и предоставляет примеры взвешенного среднего, чтобы проиллюстрировать максимизирующий энтропию эффект сбалансированных вероятностей. Очень хороший день - один урок.

И что также хорошо, вы можете затем заменить это дерево решений деревом декодирования Хаффмана (которое равно , в конце концов, деревом решений «какой токен я декодирую?») И сделать эту ссылку на кодирование.

Кстати - посмотрите по этой ссылке ...

• http://www.inference.phy.cam.ac.uk/mackay/

У Маккея есть бесплатный загружаемый учебник (и доступный в печатном виде), и хотя я еще не все прочитал, прочитанные части показались мне очень хорошими. В частности, запомнилось объяснение «объяснения» в Байесе, начиная со страницы 293.

CiteSeerX - очень полезный ресурс для статей по теории информации (среди прочего). Два интересных документа ...

• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.2410
• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.51.3672

Хотя CN2, вероятно, не первый день материала.

Answer 4

Я собирался порекомендовать Фейнмана для поп-науки, но, подумав, я думаю, что это может быть хорошим выбором и для серьезного исследования. Вы не можете знать все это без математики, но Фейнман настолько красноречив, что вбивает математику, не пугая лошадей.

Фейнмановские лекции по вычислениям http://ecx.images -amazon.com / images / I / 51BKJV58A9L._SL500_AA240_.jpg

Охватывает гораздо больше основ, чем просто теория информации, но хороший материал и приятный для чтения. (Кроме того, я обязан тянуть за командную физику. Ра! Ра! Ри! )

Answer 5

Хотя понятия могут быть абстрактными, но в последнее время они находят хорошее применение в машинном обучении / искусственном интеллекте. Это может послужить хорошей мотивацией для практической необходимости этих теоретических концепций. Итак, вы хотите оценить, насколько хорошо ваш функциональный аппроксиматор (LSTM, RNN или CNN или линейная регрессия) преуспевает в моделировании истинного распределения - это взаимная информация или относительная энтропия, например, минимизировать перекрестную энтропию в cnn или минимизировать функцию искажения расстояние в линейной регрессии ..

Кроме того, вы не сможете построить полезную коммуникацию или сетевую систему без теоретического анализа пропускной способности и свойств канала.

По сути, это может показаться теоретическим, но оно лежит в основе нынешнего века общения.

Чтобы получить более подробное представление о том, что я имею в виду, я приглашаю вас посмотреть эту лекцию ISIT: https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s профессора Дэвида TSe

Answer 6

Я мог бы предложить эту книгу Глинн Винкель . Он был использован в моем университете для курса теории информации. Она начинается с теории логики, затем определяет простой императивный язык, называемый IMP, и следует за многими понятиями о формальной семантике в языке.

Формальная семантика языков программирования

http://mitpress.mit.edu/books/formal-semantics-programming-languages

Answer 7

Теория информации имеет очень эффективные приложения, например, машинное обучение и интеллектуальный анализ данных. в частности, визуализация данных, выбор переменных, преобразование данных и проекции, теоретико-информационные критерии являются одними из самых популярных подходов.

Смотри, например,

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf или же http://www.mdpi.com/1424-8220/11/6/5695

Теория информации позволяет нам подходить к оптимальному сжатию данных формальным образом, например, в терминах апостериорных распределений и марковских одеял:

http://www.mdpi.com/1099-4300/13/7/1403

Позволяет получить верхнюю и нижнюю границы вероятности ошибки при выборе переменной:

http://www.mdpi.com/1099-4300/12/10/2144

Одним из преимуществ использования теории информации по сравнению со статистикой является то, что необязательно устанавливать распределения вероятностей. Можно вычислить информацию, избыточность, энтропию, перенести энтропию, не пытаясь вообще оценить распределение вероятностей. Исключение переменной без потери информации определяется с точки зрения сохранения условных апостериорных вероятностей, используя теорию информации, можно найти похожие формулировки ... без необходимости вычислять плотности вероятности. Расчеты скорее с точки зрения взаимной информации между переменными, и литература предоставила много эффективных оценок и приблизительных измерений для них. Увидеть: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi.com/1424-8220/11/6/5695