Перенос обучения и тонкой настройки с помощью функций Spark DeepImageFeaturizer () и KerasTransformer () - PullRequest
Новая
       29

Перенос обучения и тонкой настройки с помощью функций Spark DeepImageFeaturizer () и KerasTransformer ()

0 голосов
/ 30 мая 2019

Я пытаюсь применить технику transfer learning, используя PySpark, с сетью VGG-16.

Я бы хотел заморозить только первые m слоев и обучить оставшиеся n-m.Я пытался с помощью функции DeepImageFeaturizer() из библиотеки sparkdl, но я не могу выбрать количество слоев для обучения:

DeepImageFeaturizer(inputCol="image", outputCol="features", modelName="VGG16")

Также я виделKerasTransformer(), но я не уверен, как правильно ее использовать.

Я хотел бы знать:

  • Возможно ли это с Spark?
  • Может быть, можно использовать функцию KerasTransformer?
  • Можно ли обучить все слои сети такого типа, применяя fine-tuning?
...