Как сохранить / загрузить модуль концентратора тензорного потока в / из пользовательского пути?

Question

Сопровождающие библиотеку tensorflow_hub упростили пользователям загрузку и использование предварительно обученных модулей тензорного потока, например:

import tensorflow_hub as hub

embed = hub.Module("https://tfhub.dev/google/universal-sentence-encoder/1")

Но из sys.stderr казалось, что он экономитмодуль локально во временный каталог, то есть

INFO: tenorflow: использование / var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules для кэширования модулей.ИНФОРМАЦИЯ: tenorsflow: Инициализировать переменный модуль / Embeddings_en / sharded_0: 0 из контрольной точки b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740s / переменные_переменных_переменных_переменныхsharded_1: 0 из контрольной точки b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные / переменная / переменная_0: переменная_t__t_0:папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные с Embeddings_en / sharded_10 INFO: tensorflow: Инициализировать переменную модуля / Embeddings_en / sharded_11: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules /c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные 'с Embeddings_en / sharded_11 ИНФО: тензор потока: инициализация переменнойМодуль ble / Embeddings_en / sharded_12: 0 из контрольной точки b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2arded-s__jpg: переменная_обмена_переменных_объектов: переменная_перечисления: переменная_перечисления: переменныеб '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с Embeddings_en / sharded_13 INFO: tensorflow: Инициализировать переменную модуля / Embeddings_en / sharded_14: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt/ T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные с Embeddings_en / sharded_14 INFO: tensorflow: Инициализировать переменную модуля / Embeddings_en / sharded_15: 0 из контрольной точки б '/ вар / папки / J6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные'with Embeddings_en / sharded_15 INFO: tenorflow: инициализировать переменный модуль / Embeddings_en / sharded_16: 0 из контрольной точки b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные / с переменным потоком / переменная_0: шину_возврата_объектапапки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные с Embeddings_en / sharded_2 INFO: tensorflow: Инициализировать переменную модуля / Embeddings_en / sharded_3: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules /c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменный / переменные с Embeddings_en / sharded_3 INFO: tensorflow: Инициализировать переменный модуль / Embeddings_en / sharded_4: 0 из контрольной точки Ь '/ вар / папок / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменный / переменные' с Embeddings_en / sharded_4ИНФОРМАЦИЯ: tenorflow: инициализировать переменный модуль / Embeddings_en / sharded_5: 0 с контрольной точки b '/ var / folders / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные с Embeddings_en / sharded_5 INFO: tensorflow: Инициализировать переменную модуля / Embeddings_en / sharded_6: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules /c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные 'с Embeddings_en / sharded_6 ИНФОРМАЦИЯ: tenorflow: инициализация модуля переменных / Embeddings_en / sharded_7: 0 с контрольной точкиб '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с Embeddings_en / sharded_7 INFO: tensorflow: Инициализировать переменную модуля / Embeddings_en / sharded_8: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt/ T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные с Embeddings_en / sharded_8 INFO: tensorflow: Инициализировать переменную модуля / Embeddings_en / sharded_9: 0 из контрольной точки Ь '/ вар / папки / J6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные'с Embeddings_en / sharded_9 INFO: tensorflow: Инициализировать переменный модуль / Encoder_en / DNN / ResidualHidden_0 / вес: 0 из контрольной точки Ь' / вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменный / переменные с Encoder_en / DNN /ResidualHidden_0 / weights INFO: tenorflow: инициализировать модуль переменной / Encoder_en / DNN / ResidualHidden_1 / weights: 0 fromконтрольная точка b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с модулем Encoder_en / DNN / ResourceNN0'/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с модулем энкодера / DNN / DNN / результирующий логический переменный / DN0var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные 'с Encoder_en / DNN / ResidualHidden_3 / переменная_изменения_представления / переменная_изображения_представления / переменная_изменения_представления / переменная_изменения_представления / переменная_изменения_Представления_представления_представления_Представляемая_Переменная_обозначение_изменения_представления_Представляемая переменная_исключенияfolder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные 'с помощью Encoder_en / DNN / ResidualHidden_3/ Вес INFO: tensorflow: Инициализировать переменную модуля / SHARED_RANK_ANSWER / response_encoder_0 / tanh_layer_0 / смещение: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с SHARED_RANK_ANSWER / response_encoder_0 / tanh_layer_0 / смещенияINFO: tensorflow: Инициализировать переменный модуль / SHARED_RANK_ANSWER / response_encoder_0 / tanh_layer_0 / вес: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменный / переменные' с SHARED_RANK_ANSWER / response_encoder_0 / tanh_layer_0 / вес INFO:tensorflow: Инициализировать переменный модуль / SHARED_RANK_ANSWER / response_encoder_0 / tanh_layer_1 / смещения: 0 из контрольной точки Ь '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменный / переменные' с SHARED_RANK_ANSWER / response_encoder_0 / tanh_layer_1 / смещением INFO: tensorflow:Инициализировать переменный модуль / SHARED_RANK_ANSWER / response_encoder_0 / tanh_layer_1 / вес: 0 из контрольной точки B '/ вар / папки / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с SHARED_RANK_ANSWER / response_encoder_0 / tanh_layer_1 / весом INFO: tensorflow: Инициализировать переменный модуль / SHARED_RANK_ANSWER / response_encoder_0 /tanh_layer_2 / смещение: 0 из контрольной точки Ь '/ вар / папок / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменный / переменные' с SHARED_RANK_ANSWER / response_encoder_0 / tanh_layer_2 / смещение INFO: tensorflow: Инициализировать переменный модуль / SHARED_RANK_ANSWER / response_encoder_0 / tanh_layer_2 /весовые коэффициенты: 0 с контрольной точки b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с переменной SHARED_RANK_RoNOмодуль / SNLI / классификатор / линейный слой / смещение: 0 от контрольной точки b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с SNLI / классификатор / LinearLizeer: смещение: смещение: переменный модуль / SNLI / классификатор / LinearLayer / веса: 0 от контрольной точки b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с SNLI / классификатор / LinearLizeer переменный модуль / SNLI / классификатор / tanh_layer_0 / смещение: 0 от контрольной точки b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с SNLI / классификатор / tanh_layerOn: / переменный модуль / SNLI / классификатор / tanh_layer_0 / весов: 0 от контрольной точки b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с SNLI / классификатор / tanh_layerO:: переменный модуль / global_step: 0 от контрольной точки b '/ var / folder / j6 / xczfl75n3sbfwpg4190gpb104vnlxt / T / tfhub_modules / c6f5954ffa065cdb2f2e604e740e8838bf21a2d3 / переменные / переменные' с global_step

После перезагрузки компьютера модуль удаляется, и повторный запуск кода hub.Module('...') приведет к повторной загрузке модуля.

Можно ли сохранить модуль в пользовательский каталог и затем загрузить из пользовательского каталога?

Если это возможно, как сохранить / загрузить модуль концентратора тензорного потока в / из пользовательского пути?

Answer 1

Вы можете загрузить нужную модель по адресу url + '? Tf-hub-format = сжатый'

Я попытался загрузить elmo, и это сработало

url = https://tfhub.dev/google/elmo/2 +'? tf-hub-format = сжатый'

например: https://tfhub.dev/google/elmo/2?tf-hub-format=compressed

модель будет загружена на ваш компьютер в виде tar-файла.

после распаковки файла, он будет иметь tfhub_module.pb

Answer 2

Для тех, кто все еще ищет ответ, специально для ELMO, как сказал @harikris, вы можете использовать

url = https://tfhub.dev/google/elmo/2 + '? Tf-hub-format = сжатый'

формат для загрузки модуля, например эта ссылка

После загрузки извлеките содержимое в папку, а затем в код концентратора. Просто замените URL-адрес на путь к каталогу, как указано в

https://www.tensorflow.org/hub/basics

Answer 3

Действительно возможно указать / использовать пользовательский каталог :) Инструкции см. В разделе «Модули кэширования» по адресу https://www.tensorflow.org/hub/basics