Подстановка тензора Pytorch с использованием квадратных скобок

Question

Я наткнулся на строку кода, используемую для преобразования 3D-тензора в 2D-тензор в PyTorch. 3D-тензор x имеет размер torch.Size([500, 50, 1]), и эта строка кода:

x = x[lengths - 1, range(len(lengths))]

была использована для уменьшения x до 2D-тензора размера torch.Size([50, 1]). lengths также является тензором формы torch.Size([50]), содержащим значения.

Пожалуйста, кто-нибудь может объяснить, как это работает? Спасибо.

Answer 1

Ключевой особенностью здесь является передача значений тензора lengths в виде индексов для x. Здесь, в упрощенном примере, я поменял местами размеры контейнера, поэтому сначала идет размерность индекса:

container = torch.arange(0, 50 )
container = f.reshape((5, 10))
>>>tensor([[ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9],
        [10, 11, 12, 13, 14, 15, 16, 17, 18, 19],
        [20, 21, 22, 23, 24, 25, 26, 27, 28, 29],
        [30, 31, 32, 33, 34, 35, 36, 37, 38, 39],
        [40, 41, 42, 43, 44, 45, 46, 47, 48, 49]])

indices = torch.arange( 2, 7, dtype=torch.long )
>>>tensor([2, 3, 4, 5, 6])

print( container[ range( len(indices) ), indices] )
>>>tensor([ 2, 13, 24, 35, 46])    

Примечание: мы получили одну вещь из строки (range( len(indices) ) делает последовательные номера строк) с номером столбца, заданным индексами [row_number]

Answer 2

Будучи весьма озадаченным поведением, я еще немного углубился в это и обнаружил, что это согласованное поведение с индексированием многомерных NumPy массивов . Что делает это нелогичным, так это менее очевидный факт, что оба массива имеют одинаковой длины, т. Е. В этом случае len(lengths).

На самом деле это работает следующим образом: * lengths определяет порядок доступа к первому измерению. Т.е., если у вас есть одномерный массив a = [0, 1, 2, ...., 500], и вы обращаетесь к нему с помощью списка b = [300, 200, 100], то результат a[b] = [301, 201, 101] (это также объясняет оператор lengths - 1, который просто приводит к тому, что доступные значения будут такими же, как индекс используется в b или lengths соответственно). * range(len(lengths)) затем * просто выбирает i -й элемент в i -й строке. Если у вас квадратная матрица, вы можете интерпретировать ее как диагональ матрицы. Поскольку у вас есть доступ только к одному элементу для каждой позиции по первым двум измерениям, это можно сохранить в одном измерении (таким образом, ваш 3D-тензор уменьшается до 2D). Последнее измерение просто сохраняется «как есть».

Если вы хотите поэкспериментировать с этим, я настоятельно рекомендую изменить значение range() на более длинное / короткое, что приведет к следующей ошибке:

IndexError: несоответствие форм: индексные массивы не могут быть переданы вместе с фигурами (x,) (y,)

, где x и y - это ваши Speci c значения длины.

Чтобы записать этот метод доступа в длинной форме, чтобы понять, что происходит "под капотом", также рассмотрим следующий пример:

import torch
x = torch.randint(500, 50, 1)
lengths = torch.tensor([2, 30, 1, 4])  # random examples to explore
diag = list(range(len(lengths)))  # [0, 1, 2, 3]
result = []
for i, row in enumerate(lengths):
    temp_tensor = x[row, :, :]  # temp_tensor.shape = [1, 50, 1]
    temp_tensor = temp_tensor.squeeze(0)[diag[i]]  # temp_tensor.shape = [1, 1]
    result.append(temp.tensor)

# back to pytorch
result = torch.tensor(result)
result.shape  # [4, 1]