Использование tenors.share_memory_ () против многопроцессорной обработки. Вопрос в PyTorch при обучении модели между несколькими процессами - PullRequest
Новая
       6

Использование tenors.share_memory_ () против многопроцессорной обработки. Вопрос в PyTorch при обучении модели между несколькими процессами

1 голос
/ 03 июня 2019

Я использую пакет многопроцессорности в pytorch для разделения обучения по нескольким процессам.Мои данные x и y, train и test являются тензорами CUDA.Я пытаюсь понять разницу между использованием tenor.share_memory_ () и методом multiprocessing.Queue для совместного использования тензоров cuda.Что предпочтительнее и почему?

Вот мой текущий код с использованием tenor.share_memory_ ().Какие изменения я должен сделать? 

def train(model, features, target, epochs=1000):

    X_train, x_test, Y_train, y_test = train_test_split(features,
                                                    target,
                                                    test_size=0.4,
                                                    random_state=0)

    Xtrain_ = torch.from_numpy(X_train.values).float().share_memory_()
    Xtest_ = torch.from_numpy(x_test.values).float().share_memory_()

    Ytrain_ = (torch.from_numpy(Y_train.values).view(1,-1)[0]).share_memory_()
    Ytest_ = (torch.from_numpy(y_test.values).view(1,-1)[0]).share_memory_()


    optimizer = optim.Adam(model.parameters(), lr = 0.01)
    loss_fn = nn.NLLLoss()


    for epoch in range(epochs):

        #training code here

целевой метод заканчивается здесь 

mp.set_start_method('spawn')

model = Net()
model.share_memory()

processes = []

for rank in range(1):
    p = mp.Process(target=train, args=(model, features, target))
    p.start()
    processes.append(p)

Подробности Env: Python-3 и Linux

...