Можем ли мы использовать для цикла в ParamGridBuilder pyspark?

Question

Код ниже должен добавить параметры в paramGridBuilder без каких-либо циклов в pyspark.

from pyspark.ml.tuning import ParamGridBuilder
paramGrid = ParamGridBuilder()\
        .addGrid(lr.regParam, [0.1, 0.01]) \
        .addGrid(lr.fitIntercept, [False, True])\
        .addGrid(lr.elasticNetParam, [0.0, 0.5, 1.0])\
        .build()

У меня есть такой словарь

 dict =   {lr.regParam : [0.1,0.01],lr.fitIntercept:[False,True],lr.elasticNetParam:[0.0,0.5,1.0]

Можем ли мы использовать цикл для построения ParamgridBuilder и он будет работать?

for k,v in dict.items():
    paramGrid = ParamGridBuilder().addGrid(k,v).build()

Answer 1

Вы можете использовать функцию уменьшения:

from functools import reduce
paramGrid  = reduce(
    lambda a,b: a.addGrid(*b),
    dict.items(),
    ParamGridBuilder(),
).build

или с циклом for

paramGrid = ParamGridBuilder()
for k,v in dict.items():
    paramGrid = paramGrid.addGrid(k,v)
paramGrid = paramGrid.build()