Как UTF-8 кодировать .pkl в Sagemaker? - PullRequest
Новая
       27

Как UTF-8 кодировать .pkl в Sagemaker?

0 голосов
/ 05 февраля 2019

Я использую библиотеки fast.ai v1 в Sagemaker и обнаружил, что ошибки learn.export () с примечанием:

Sagemaker error note

Первый вопрос- Где в консоли я буду искать более подробную информацию?Я проверил журналы CloudWatch для этого ноутбука и ничего не вижу, и я не вижу очевидной ссылки в веб-интерфейсе Sagemaker.

Второй вопрос - Как мне UTF-8 кодировать этот объект learn.export ()?Я пошел в репозиторий fast.ai git и нашел код, который, по моему мнению, является ответственным: 

        "Export the state of the `Learner` in `self.path/fname`."
        args = ['opt_func', 'loss_func', 'metrics', 'true_wd', 'bn_wd', 'wd', 'train_bn', 'model_dir', 'callback_fns']
        state = {a:getattr(self,a) for a in args}
        state['cb_state'] = {cb.__class__:cb.get_state() for cb in self.callbacks}
        #layer_groups -> need to find a way
        #TO SEE: do we save model structure and weights separately?
        device = one_param(self.model).device
        state['model'] = self.model.cpu() #This is done inplace so we need to put the model back where it was after the save.
        xtra = dict(normalize=self.data.norm.keywords) if getattr(self.data, 'norm', False) else {}
        state['data'] = self.data.valid_ds.get_state(**xtra)
        state['cls'] = self.__class__
        torch.save(state, open(self.path/fname, 'wb'))
        self.model.to(device)```

And the higher-level doc is here: https://docs.fast.ai/tutorial.inference.html

Appreciate your help.
...