Как конвертировать ниже в pyspark 2.4?

Question

Я не могу запустить приведенный ниже код в Python 3 - спарк 2.4. Пожалуйста, сообщите.

  AGG_rdd = AGG.select('luid', array(varFreq_list).alias('p')) \
  .rdd.map(lambda r: \
  (r.luid, map(lambda x: min(x, 9999.999), \
  np.dot(map(min, zip(r.p, cap_list_bc.value)), eqn_matrix_bc.value).tolist() 
  ) ))

Извините, я не знаю, как это изменить. Я попробовал это:

  AGG_rdd = AGG.select('luid', array(varFreq_list).alias('p')) \
    .list(rdd.map(lambda r: \
    (r.luid, list(map(lambda x: min(x, 9999.999), \
    np.dot(list(map(min, zip(r.p, cap_list_bc.value))), 
    eqn_matrix_bc.value)).tolist() ) ))

Answer 1

Попробуйте, пожалуйста, Python 2 и Python 3 немного отличаются. У меня тоже были проблемы с combByKey.

AGG_rdd = AGG.select('luid', array(varFreq_list).alias('p')) \
 .rdd.map(lambda r: \
         (r.luid, [min(x, 9999.999) for x in np.dot(list(map(min, list(zip(r.p, cap_list_bc.value)))), eqn_matrix_bc.value).tolist()] ))