1D корреляция между 2 матрицами

Question

Я хочу найти одномерную корреляцию между двумя матрицами. Эти две матрицы являются результатом операции свертки на двух разных изображениях. Давайте назовем первую матрицу matrix A, а другую - matrix B. Обе эти матрицы имеют форму 100 x 100 x 64 (скажем).

Я следил за исследовательской работой, которая в основном вычисляет одномерную корреляцию между этими двумя матрицами (матрица A и матрица B) на одном из этапов, и вывод операции корреляции также является матрицей с формой 100 x 100 x 64. Ссылку на статью можно найти здесь . Сеть находится на странице 4. Корреляционная часть находится в нижней части сети. Об этом упоминается пара строк во 2-м абзаце раздела 3.3 (на той же странице, под сетью).

Я не совсем уверен, что они имеют в виду под 1D-корреляцией и тем более, как реализовать это в Python. Меня также смущает, что форма выходных данных остается такой же, как и входная после применения корреляции Я использую библиотеку PyTorch для реализации этой сети.

Любая помощь будет оценена. Спасибо.

Answer 1

Таким образом, у них в основном есть 1 исходное изображение, которое они рассматривают как вид слева для алгоритма восприятия глубины, но, поскольку вам необходимо стереозрение для вычисления глубины в неподвижном изображении, они используют нейронную структуру для синтеза вида справа.

1 Размерная корреляция берет 2 последовательности и вычисляет корреляцию в каждой точке, давая вам еще одну 1D последовательность той же длины, что и 2 входа. Поэтому, если применить эту корреляцию вдоль определенной оси тензора, результирующий тензор не изменит свою форму.

Интуитивно они думали, что имеет смысл коррелировать изображения вдоль горизонтальных осей немного как чтение изображений, как чтение книги, но в этом случае это должно иметь эффект, похожий на то, что вещи, которые находятся дальше, также кажутся точки, которые ближе друг к другу на левой и правой сторонах. Корреляция, вероятно, выше для левой и правой боковых точек данных, которые находятся дальше, и это значительно упрощает классификацию глубины для нейронной сети.