Как прочитать параметр из файла json и собрать paramGrid в pyspark? - PullRequest
Новая
       13

Как прочитать параметр из файла json и собрать paramGrid в pyspark?

0 голосов
/ 27 сентября 2018

У меня есть словарь, где параметры в строковом формате.

hyperparameters= {
            "random_seed": 0,
            "num_trees": [
              30,
              70,
              5
            ],
            "max_depth": [
              25,
              35,
              1
            ],
            "min_instances_per_node": [
              2500,
              3000,
              100
            ]
          }

Я строю объект ParamGrid, перебирая все гиперпараметры из словаря. 

clf = LogisticRegression()
paramGrid = ParamGridBuilder()
for k, v in hyperparams.items():
    paramGrid = paramGrid.addGrid(clf.k, v) # Linenumber - 4
paramGrid = paramGrid.build()

В Linenumber-4 я читаю строку и выполняю clf.k.Согласно документации, это должно быть примерно так: 

paramGrid = ParamGridBuilder()\
    .addGrid(lr.regParam, [0.1, 0.01]) \
    .addGrid(lr.fitIntercept, [False, True])\
    .addGrid(lr.elasticNetParam, [0.0, 0.5, 1.0])\
    .build()

Здесь я перебираю словарь и строю paramgrid .У меня вопрос, будет ли объект paramgrid работать, когда я читаю параметры из словаря в строковом формате?Может ли кто-нибудь уточнить мой вопрос?

...