Различные методы доступа к Pyro Paramstore дают разные результаты - PullRequest
Новая
       78

Различные методы доступа к Pyro Paramstore дают разные результаты

1 голос
/ 08 мая 2020

Я следую вводному руководству Pyro в прогнозировании и пытаюсь получить доступ к изученным параметрам после обучения модели, я получаю разные результаты, используя разные методы доступа для некоторых из них (при получении идентичных результатов для других ).

Вот урезанный воспроизводимый код из учебника: 

import torch
import pyro
import pyro.distributions as dist
from pyro.contrib.examples.bart import load_bart_od
from pyro.contrib.forecast import ForecastingModel, Forecaster

pyro.enable_validation(True)
pyro.clear_param_store()

pyro.__version__
# '1.3.1'
torch.__version__
# '1.5.0+cu101'

# import & prepare the data
dataset = load_bart_od()
T, O, D = dataset["counts"].shape
data = dataset["counts"][:T // (24 * 7) * 24 * 7].reshape(T // (24 * 7), -1).sum(-1).log()
data = data.unsqueeze(-1)
T0 = 0              # begining
T2 = data.size(-2)  # end
T1 = T2 - 52        # train/test split

# define the model class
class Model1(ForecastingModel):

    def model(self, zero_data, covariates):
        data_dim = zero_data.size(-1)  
        feature_dim = covariates.size(-1)

        bias = pyro.sample("bias", dist.Normal(0, 10).expand([data_dim]).to_event(1))
        weight = pyro.sample("weight", dist.Normal(0, 0.1).expand([feature_dim]).to_event(1))
        prediction = bias + (weight * covariates).sum(-1, keepdim=True)
        assert prediction.shape[-2:] == zero_data.shape

        noise_scale = pyro.sample("noise_scale", dist.LogNormal(-5, 5).expand([1]).to_event(1))
        noise_dist = dist.Normal(0, noise_scale)

        self.predict(noise_dist, prediction)

# fit the model
pyro.set_rng_seed(1)
pyro.clear_param_store()
time = torch.arange(float(T2)) / 365
covariates = torch.stack([time], dim=-1)
forecaster = Forecaster(Model1(), data[:T1], covariates[:T1], learning_rate=0.1)

Пока все хорошо; Теперь я хочу проверить изученные скрытые параметры, хранящиеся в Paramstore. Кажется, есть несколько способов сделать это; используя метод get_all_param_names(): 

for name in pyro.get_param_store().get_all_param_names():
    print(name, pyro.param(name).data.numpy())

Я получаю 

AutoNormal.locs.bias [14.585433]
AutoNormal.scales.bias [0.00631594]
AutoNormal.locs.weight [0.11947815]
AutoNormal.scales.weight [0.00922901]
AutoNormal.locs.noise_scale [-2.0719821]
AutoNormal.scales.noise_scale [0.03469057]

Но используя метод named_parameters(): 

pyro.get_param_store().named_parameters()

дает те же значения для location (locs) параметров, но разные значения для всех scales: 

dict_items([
('AutoNormal.locs.bias', Parameter containing: tensor([14.5854], requires_grad=True)), 
('AutoNormal.scales.bias', Parameter containing: tensor([-5.0647], requires_grad=True)), 
('AutoNormal.locs.weight', Parameter containing: tensor([0.1195], requires_grad=True)), 
('AutoNormal.scales.weight', Parameter containing: tensor([-4.6854], requires_grad=True)),
('AutoNormal.locs.noise_scale', Parameter containing: tensor([-2.0720], requires_grad=True)), 
('AutoNormal.scales.noise_scale', Parameter containing: tensor([-3.3613], requires_grad=True))
])

Как такое возможно? Согласно документации , Paramstore - это простое хранилище ключей и значений; и в нем всего шесть ключей: 

pyro.get_param_store().get_all_param_names() # .keys() method gives identical result
# result
dict_keys([
'AutoNormal.locs.bias',
'AutoNormal.scales.bias', 
'AutoNormal.locs.weight', 
'AutoNormal.scales.weight', 
'AutoNormal.locs.noise_scale', 
'AutoNormal.scales.noise_scale'])

так что нет возможности, чтобы один метод получил доступ к одному набору элементов, а другой к другому.

Я что-то упустил здесь?

Ответы [ 2 ]

1 голос
/ 11 мая 2020

Вот ситуация, которая раскрыта в ветке Github Я открыл параллельно с этим вопросом ...

Paramstore больше не просто a простое хранилище ключ-значение - оно также выполняет преобразования ограничений; цитирую разработчика Pyro по приведенной выше ссылке:

вот некоторые исторические факты. ParamStore изначально был просто хранилищем ключей и значений. Затем мы добавили поддержку ограниченных параметров; это ввело новый уровень разделения между ограниченными значениями, обращенными к пользователю, и внутренними неограниченными значениями. Мы создали новый dict-подобный пользовательский интерфейс, который предоставлял только ограниченные значения, но для сохранения обратной совместимости со старым кодом мы сохранили старый интерфейс. Эти два интерфейса различаются в исходных файлах [...], но, как вы заметили, похоже, что мы забыли пометить старый интерфейс как УСТАРЕВШИЙ.

Думаю, при разъяснении документации нам следует:

  1. поясните, что ParamStore больше не является простым хранилищем ключ-значение, но также выполняет преобразования ограничений;

  2. пометьте все методы интерфейса «старого» стиля как УСТАРЕВШИЕ;

  3. убрать использование интерфейса в «старом» стиле из примеров и руководств.

Как следствие, оказывается, что, а pyro.param() возвращает результаты в ограниченном (обращенном к пользователю) пространстве, старый метод named_parameters() возвращает неограниченные (т.е. только для внутреннего использования) значения, отсюда очевидное несоответствие.

На самом деле нетрудно проверить, что значения scales, возвращаемые двумя вышеуказанными методами, связаны логарифмическим преобразованием c: 

import numpy as np
items = list(pyro.get_param_store().named_parameters())  # unconstrained space

i = 0
for name in pyro.get_param_store().keys():  
  if 'scales' in name:
    temp = np.log(
                  pyro.param(name).item()  # constrained space
                 )
    print(temp, items[i][1][0].item() , np.allclose(temp, items[i][1][0].item()))
  i+=1

# result:
-5.027793402915326 -5.0277934074401855 True
-4.600319371162187 -4.6003193855285645 True
-3.3920585732532835 -3.3920586109161377 True

Почему это несоответствие влияет только на scales параметры? Это потому, что scales (т.е. по существу отклонения ) по определению должны быть положительными; это не выполняется для locs (т.е. означает), которые не ограничены, следовательно, два представления для них совпадают.

В качестве результата вопроса выше, новая пуля теперь был добавлен в Paramstore документацию , давая соответствующую подсказку:

в общих параметрах связаны как с с ограничениями, с , и с без ограничений значений. например, под капотом параметр, который должен быть положительным, представлен в виде неограниченного тензора в пространстве журнала.

, а также в документации из named_parameters() метод старого интерфейса:

Обратите внимание, что в случае, если параметр ограничен, Unlimited_value находится в неограниченном пространстве, неявно используемом ограничением.

0 голосов
/ 10 мая 2020

pyro.param() возвращает преобразованные параметры в этом случае в положительные числа для scales.

...