Ошибка PicklingEn при использовании KerasClassifier для перекрестной проверки в Spark

Question

Хотя я могу прекрасно выполнить следующий код на своем локальном компьютере:

`from keras.wrappers.scikit_learn import KerasClassifier
 from sklearn.model_selection import cross_val_score
 from keras.models import Sequential
 from keras.layers import Dense
 def build_classifier():
     classifier = Sequential()
     classifier.add(Dense(units = 6, kernel_initializer = 'uniform', activation = 'relu', input_dim = 11))
     classifier.add(Dense(units = 6, kernel_initializer = 'uniform', activation = 'relu'))
     classifier.add(Dense(units = 1, kernel_initializer = 'uniform', activation = 'sigmoid'))
     classifier.compile(optimizer = 'adam', loss = 'binary_crossentropy', metrics = ['accuracy'])
     return classifier
classifier = KerasClassifier(build_fn = build_classifier, batch_size = 10, epochs = 100)
accuracies = cross_val_score(estimator = classifier, X = X_train, y = y_train, cv = 10, n_jobs = -1)`

Я получаю PicklingError: Can't pickle <function build_classifier at 0x7f98f3cbabf8>: attribute lookup build_classifier on __main__ failed

Основываясь на моем понимании PicklingError при попытке распараллеливания в Python похоже, что есть проблема с положением, в котором я определил функцию, но я не могу заставить ее работать.Как я могу устранить это?