Lime_Framework_Expalinations - PullRequest
Новая
       13

Lime_Framework_Expalinations

0 голосов
/ 08 сентября 2018

Я сталкиваюсь со странной проблемой при запуске Lime Framework. Когда я запускаю его на одном узле, мои результаты резко отличаются от результатов на параллельных узлах на искре. Я пытаюсь запустить объяснитель вот так.

Мой эксперт: 

explainer = lime.lime_tabular.LimeTabularExplainer(X_train,feature_names=train_columns,
             kernel_width=ker_wid,discretize_continuous=True, random_state=1231, discretizer  = dis_type,
            class_names=['lookforward_repatha_nrx'],verbose=True,mode='regression')

Запуск Ex plainer с использованием одного узла: 

app_phy1 = []
for i in range(df_pred_X_test_skew_nohighcoll.shape[0]):
    exp = explainer.explain_instance(df_pred_X_test_skew_nohighcoll.values[i],xgb_model.predict, num_features=80)
    app_phy1.append(exp.as_list())

Запуск объяснения Использование python для блоков данных, Multinode: 

def run_explainer_instance_simplified(input):
      print("calling explainer")
exp = explainer.explain_instance(input,xgb_model.predict,num_samples=500,num_features=80)
  return exp.as_list()

test_rdd = sc.parallelize(df_pred_X_test_skew_nohighcoll.values)
test_rdd = test_rdd.map(run_explainer_instance_simplified)
new_dist_flow = test_rdd.collect()
...