Настройте параметры, используя gin-config и importlib - PullRequest
Новая
       69

Настройте параметры, используя gin-config и importlib

0 голосов
/ 20 февраля 2020

Я использую gin-config для настройки гиперпараметров разных классов. Это прекрасно работает для модулей, которые импортируются классическим способом. Однако как настроить параметр, используемый в классе, который импортируется с помощью importlib?

Запуск в файле main.py 

import gin
import importlib

gin.parse_config_file('config.gin')
module = importlib.import_module('src.external.SomeModule')
_class = getattr(module, 'SomeClass')

This is the externally defined module in src.external.SomeModule
@gin.configurable
SomeClass:
    def __init__(self, variable):
        self.variable = variable

Это файл 'config.gin' 

SomeClass.variable=0

Однако, если мы определим это таким образом, мы получим: 

Traceback (most recent call last):
  File "main_test.py", line 291, in <module>
    gin.parse_config_file(args.config_path)
  File "/site-packages/gin/config.py", line 1599, in parse_config_file
    parse_config(f, skip_unknown=skip_unknown)
  File "/site-packages/gin/config.py", line 1517, in parse_config
    bind_parameter((scope, selector, arg_name), value)
  File "/contextlib.py", line 130, in __exit__
    self.gen.throw(type, value, traceback)
  File "/site-packages/gin/utils.py", line 68, in try_with_location
    augment_exception_message_and_reraise(exception, _format_location(location))
  File "/site-packages/gin/utils.py", line 49, in augment_exception_message_and_reraise
    six.raise_from(proxy.with_traceback(exception.__traceback__), None)
  File "<string>", line 3, in raise_from
  File "/site-packages/gin/utils.py", line 66, in try_with_location
    yield
  File "/site-packages/gin/config.py", line 1517, in parse_config
    bind_parameter((scope, selector, arg_name), value)
  File "/site-packages/gin/config.py", line 643, in bind_parameter
    pbk = ParsedBindingKey(binding_key)
  File "/site-packages/gin/config.py", line 508, in __new__
    raise ValueError("No configurable matching '{}'.".format(selector))
ValueError: No configurable matching 'src.data.SomeModule.SomeClass'.
  In file "config/cnn_test.gin", line 35
    src.external.SomeModule.SomeClass.variable=0.

1 Ответ

0 голосов
/ 17 апреля 2020

Я думаю, вам просто нужно переместить gin.parse_config_file('config.gin') после импорта. Согласно gin README

Наконец, после определения или импорта всех настраиваемых классов или функций, проанализируйте ваш файл конфигурации, чтобы связать ваши конфигурации ...

Попробуйте это: 

module = importlib.import_module('src.external.SomeModule')
_class = getattr(module, 'SomeClass')
gin.parse_config_file('config.gin')
...