Получить вывод из последних 4 слоев BERT (Tensorflow) - PullRequest
Новая
       65

Получить вывод из последних 4 слоев BERT (Tensorflow)

0 голосов
/ 02 февраля 2020

Я просматривал статью Андреаса Поятзиса, размещенную на сайте Сайт. Ниже приведена ссылка на статью.

https://towardsdatascience.com/nlp-extract-contextualized-word-embeddings-from-bert-keras-tf-67ef29f60a7b# - ответы

Сгенерированные вложения сделаны с использованием TPU. Но я хочу запустить его на моей локальной машине, которая не поддерживает TPU. Может кто-нибудь сообщить мне, как я могу запустить тот же код на процессоре? Ваша помощь будет оценена. Спасибо!

1 Ответ

0 голосов
/ 18 февраля 2020

По ссылке код говорит, что если TPU недоступен, Estimator возвращается к CPU или GPU. Просто убедитесь, что вы установили use_tpu = False везде, где оно отображается: 

  # If TPU is not available, this will fall back to normal Estimator on CPU
  # or GPU.
  estimator = tf.contrib.tpu.TPUEstimator(
      use_tpu=False,
      model_fn=model_fn,
      config=run_config,
      predict_batch_size=BATCH_SIZE,
      train_batch_size=BATCH_SIZE)

Также прямо над этим в вызове model_fn_builder. Как это: 

model_fn = model_fn_builder(
      bert_config=bert_config,
      init_checkpoint=INIT_CHECKPOINT,
      layer_indexes=layer_indexes,
      use_tpu=False,
      use_one_hot_embeddings=True)
...