Я читал о том, как память хранится и представляется в PyTorch.
Биты, которые выделяются метаданным, хранятся случайно рядом с элементами, которые находятся в тензоре факела?
Как я понимаю, когда вы сделаете тензор:
x = torch.tensor(....)
Тензор будет просто представлением объекта torch.Storage, который определяется как [смещение, шаг, размер]. После того, как вы посмотрите на экземпляр хранилища факелов, на который ссылается тензор, вы получите массив элементов внутри 1-го массива (я полагаю, это еще один вид вдали, который показывает элементы (32-разрядные и c) в непрерывном блоке памяти (как где-то внутри оперативной памяти)
x.storage() # [0.3, 0.234, 0.234, ....]
Где хранится информация о типе и размере элементов внутри этого 1-го массива?
Может ли быть, что x .storage () просматривает 1-й блок памяти с определенным смещением, которое пропускает биты, которые были выделены для хранения информации, такой как тип и размер (метаданные)?