Как модель сделана в Tensorflow с использованием графика - PullRequest
Новая
       34

Как модель сделана в Tensorflow с использованием графика

1 голос
/ 01 мая 2020

Я пытаюсь понять, как получается следующая модель в тензорном потоке. Я более привык видеть многослойные персептроны, сделанные с использованием Tensorflow.kera.Sequential (). Если кто-то может объяснить, как создается модель или как узнать больше об ее архитектуре - что-то вроде model.summary () - я был бы очень признателен. Спасибо!

источник: https://github.com/github/CodeSearchNet/blob/master/src/models/model.py

Полное определение класса можно найти по ссылке выше. 

def make_model(self, is_train: bool):
        with self.__sess.graph.as_default():
            random.seed(self.hyperparameters['seed'])
            np.random.seed(self.hyperparameters['seed'])
            tf.set_random_seed(self.hyperparameters['seed'])

            self._make_model(is_train=is_train)
            self._make_loss()
            if is_train:
                self._make_training_step()
                self.__summary_writer = tf.summary.FileWriter(self.__tensorboard_dir, self.__sess.graph)

def _make_model(self, is_train: bool) -> None:
        """
        Create the actual model.
        Note: This has to create self.ops['code_representations'] and self.ops['query_representations'],
        tensors of the same shape and rank 2.
        """
        self.__placeholders['dropout_keep_rate'] = tf.placeholder(tf.float32,
                                                                  shape=(),
                                                                  name='dropout_keep_rate')
        self.__placeholders['sample_loss_weights'] = \
            tf.placeholder_with_default(input=np.ones(shape=[self.hyperparameters['batch_size']],
                                                      dtype=np.float32),
                                        shape=[self.hyperparameters['batch_size']],
                                        name='sample_loss_weights')

        with tf.variable_scope("code_encoder"):
            language_encoders = []
            for (language, language_metadata) in sorted(self.__per_code_language_metadata.items(), key=lambda kv: kv[0]):
                with tf.variable_scope(language):
                    self.__code_encoders[language] = self.__code_encoder_type(label="code",
                                                                              hyperparameters=self.hyperparameters,
                                                                              metadata=language_metadata)
                    language_encoders.append(self.__code_encoders[language].make_model(is_train=is_train))
            self.ops['code_representations'] = tf.concat(language_encoders, axis=0)
        with tf.variable_scope("query_encoder"):
            self.__query_encoder = self.__query_encoder_type(label="query",
                                                             hyperparameters=self.hyperparameters,
                                                             metadata=self.__query_metadata)
            self.ops['query_representations'] = self.__query_encoder.make_model(is_train=is_train)

        code_representation_size = next(iter(self.__code_encoders.values())).output_representation_size
        query_representation_size = self.__query_encoder.output_representation_size
        assert code_representation_size == query_representation_size, \
            f'Representations produced for code ({code_representation_size}) and query ({query_representation_size}) cannot differ!'

1 Ответ

1 голос
/ 01 мая 2020

Если вы хотите получить архитектуру модели, вы можете просто использовать тензорную доску. Как видно из этой строки, 

self.__summary_writer = tf.summary.FileWriter(self.__tensorboard_dir, self.__sess.graph)

записывает график сеанса в файл в расположении self.__tensorboard_dir. Все, что вам нужно, это запустить тензорную доску и получить к ней доступ по заданному URL.

, чтобы запустить тензорную доску, откройте свой терминал и используйте эту команду. 

tensorboard --logdir="<file path (url of self.__tensorboard_dir)>"

это запустит сервер и покажет URL для тензорной доски. В тензорной доске у вас есть График вкладка, которая покажет вся архитектура.

...