Вычисление взаимной информации

Question

Предположим, что M - это набор объектов m, каждый из которых имеет атрибуты X и Y. Теперь, если X и Y могут иметь только одно значение для данного m (т. Е. X, Y - случайные переменные с P (X = x_i | M = m_i) , P (Y = y_i | M = m_i)), возможно вычислить взаимную информацию о X и Y. Но что если X может иметь несколько результатов одновременно? То есть для m_3 X = {x1, x2} - обычно результат X является подмножеством всех возможных результатов. Можно ли измерить взаимную информацию или какую-либо другую меру зависимости в таком случае?

Можно ли разбить X на двоичные случайные величины X_1, X_2 и т. Д., Где X_1 = 1, если X содержит x1, X_1 = 0 в противном случае, а затем вычислить I (X_i, Y_j) для всех комбинаций i, j и подвести информация для того, чтобы получить I (X, Y)?

Спасибо.

Пример:

m_1: X={a,b}, Y={x,y}; m_2: X={c}, Y={z,x}

Answer 1

В зависимости от того, что означают наборы и для чего вы хотите использовать взаимную информацию, вы можете просто рассматривать наборы как атомарные значения. Тогда ваше пространство событий - это набор параметров V_X, и вы можете вычислить взаимную информацию об этом большем пространстве событий обычным способом (подумайте о цепочках битов).

Существуют многофакторные обобщения взаимной информации, такой как информация о взаимодействии или полная корреляция, но я не думаю, что это именно то, что вы ищете. Возможно, вам лучше взглянуть на другие, неинформативные, теоретические, многомерные меры корреляции.

Answer 2

Если я не ошибаюсь, вы задаете предпосылку:

If M is a set of objects { m1, m2, ... },
and each mi has two attributes X, Y,
and X, Y can be a set of { x1, x2, ... } , { y1, y2, ... } respectively

, тогда вы хотите определить

*(X, Y) based on each mi's X, Y

Что ж, это значительно усложняет задачу в терминахвычисления, но вы все еще можете сделать тот же тип корреляции, за исключением того, что вместо корреляции двух значений X и Y, вы коррелируете два подмножества X и Y.