Использование matplotlib для прокрутки 2D-фрагментов перекрывающихся 3D-изображений

Question

У меня есть этот кусок кода, который прекрасно работает для прокрутки 2D-срезов массива 3D numpy.

import matplotlib.pyplot as plt
import numpy as np


class IndexTracker(object):
    def __init__(self, ax, X):
        self.ax = ax
        ax.set_title('use scroll wheel to navigate images')

        self.X = X
        rows, cols, self.slices = X.shape
        self.ind = self.slices // 2

        self.im = ax.imshow(self.X[:, :, self.ind], cmap="gray")
        self.update()

    def onscroll(self, event):
        print("%s %s" % (event.button, event.step))
        if event.button == 'up':
            self.ind = (self.ind + 1) % self.slices
        else:
            self.ind = (self.ind - 1) % self.slices
        self.update()

    def update(self):
        self.im.set_data(self.X[:, :, self.ind])
        self.ax.set_ylabel('slice %s' % self.ind)
        self.im.axes.figure.canvas.draw()


def plot3d(image):
    fig, ax = plt.subplots(1, 1)
    tracker = IndexTracker(ax, image)
    fig.canvas.mpl_connect('scroll_event', tracker.onscroll)
    plt.show()


if __name__ == "__main__":
    img = np.array([[[0, 0, 0], [0, 1, 0], [0, 0, 0]],
                     [[0, 0, 0], [1, 1, 1], [0, 0, 0]],
                     [[0, 0, 0], [0, 1, 0], [0, 0, 0]]])

    plot3d(img)

Я хотел бы иметь ту же функциональность, но для прокрутки через два, одинаково размер, 3D numpy массивов в то же время. Один из массивов должен отображаться с определенным уровнем непрозрачности и разной цветовой схемой, чтобы оба массива можно было проверять одновременно. Без прокрутки для 2D-среза это может быть легко достигнуто:

img1 = np.array([[[0, 0, 0], [0, 1, 0], [0, 0, 0]],
                 [[0, 0, 0], [1, 1, 1], [0, 0, 0]],
                 [[0, 0, 0], [0, 1, 0], [0, 0, 0]]])

img2 = np.array([[[0, 0, 0], [0, 1, 0], [0, 0, 0]],
                 [[0, 1, 0], [0, 1, 0], [0, 1, 0]],
                 [[0, 0, 0], [0, 1, 0], [0, 0, 0]]])

plt.imshow(img1[:, :, 1], cmap="gray")
plt.imshow(img2[:, :, 1], cmap="jet", alpha=0.25)
plt.show()

Я попытался расширить класс IndexTracker, чтобы принять второй 3D-массив и отобразить один срез каждого тома (с тем же индексом), используя imshow (). Кроме того, оно предназначалось для обновления отображаемых изображений при каждом событии прокрутки с помощью set_data (). Однако это не удалось.

import numpy as np
import matplotlib.pyplot as plt


class IndexTracker(object):
    def __init__(self, ax, X, Y):
        self.ax = ax
        self.X = X
        self.Y = Y
        _, _, self.slices = X.shape
        self.ind = self.slices // 2

        self.im = ax.imshow(self.X[:, :, self.ind], cmap="gray")
        self.im = ax.imshow(self.Y[:, :, self.ind], cmap="jet", alpha=0.25)

        self.update()

    def onscroll(self, event):
        print("%s %s" % (event.button, event.step))
        if event.button == 'up':
            self.ind = (self.ind + 1) % self.slices
        else:
            self.ind = (self.ind - 1) % self.slices
        self.update()

    def update(self):
        self.im.set_data(self.X[:, :, self.ind])
        self.im.set_data(self.Y[:, :, self.ind])

        self.ax.set_ylabel('slice %s' % self.ind)
        self.im.axes.figure.canvas.draw()


def plot3d(image1, image2):
    image1 = np.rot90(image1, k=-1)
    image2 = np.rot90(image2, k=-1)
    fig, ax = plt.subplots(1, 1)
    tracker = IndexTracker(ax, image1, image2)
    fig.canvas.mpl_connect('scroll_event', tracker.onscroll)
    plt.show()


if __name__ == "__main__":
    img1 = np.array([[[0, 0, 0], [0, 1, 0], [0, 0, 0]],
                     [[0, 0, 0], [1, 1, 1], [0, 0, 0]],
                     [[0, 0, 0], [0, 1, 0], [0, 0, 0]]])
    img2 = np.array([[[0, 0, 0], [0, 1, 0], [0, 0, 0]],
                     [[0, 1, 0], [0, 1, 0], [0, 1, 0]],
                     [[0, 0, 0], [0, 1, 0], [0, 0, 0]]])

    plot3d(img1, img2)

Есть ли у вас какие-либо идеи о том, как решить данную проблему с помощью matplotlib? В идеале необходимо расширить первый фрагмент кода, содержащий класс IndexTracker.

Редактировать: Добавлено второе изображение в качестве параметра для вызова plot3d ()

Answer 1

К счастью, если вы отслеживаете два объекта Axes.imshow (возвращаемых plt.imshow) по отдельности, тогда matplotlib будет работать с наложением изображений за вас. Затем вы можете использовать set_data для каждого из них в отдельности. При этом вам нужно сохранять одинаковую цветовую карту и альфа-значения для каждого из изображений, вы можете выполнить sh, используя комбинацию im.to_rgba и im.get_alpha. Вот изменения, которые нужно внести в свой класс для этой работы:

class IndexTracker(object):
    def __init__(self, ax, X, Y):
        ...

        self.im1 = ax.imshow(self.X[:, :, self.ind], cmap="gray")
        self.im2 = ax.imshow(self.Y[:, :, self.ind], cmap="jet", alpha=.25)


        ...


    def update(self):
        im1_data = self.im1.to_rgba(self.X[:, :, self.ind], alpha=self.im1.get_alpha())
        im2_data = self.im2.to_rgba(self.Y[:, :, self.ind], alpha=self.im2.get_alpha())

        self.im1.set_data(im1_data)
        self.im2.set_data(im2_data)

        ...