Сохранить модель Keras на hdfs

Question

Облачный сервер нашей компании позволяет нам сохранять файлы только в формате hdf. Есть ли способ сохранить модель Keras на hdfs. Я попробовал model.save, и он не будет работать.

Answer 1

Насколько я знаю, нет способа сделать это напрямую с Керасом. Но есть разные способы решения этой проблемы:

1. Прозрачный метод заключается в монтировании HDFS в качестве локальной файловой системы. Вы не упоминаете ни о какой операционной системе, но кажется вполне осуществимым:

   • Используя Linux, вы можете использовать: https://github.com/microsoft/hdfs-mount
   • Mac & Linux: https://pypi.org/project/fuse-webhdfs/
   • Windows:не уверен, если это возможно, но здесь упоминается: https://cwiki.apache.org/confluence/display/HADOOP2/MountableHDFS

2. Программным подходом будет сохранение для сериализации вашей модели в YAML и использование клиента HDFS для Python для сохраненияэто в файловую систему hadoop. Здесь вы можете найти пример сериализации / десериализации модели и здесь, как писать и читать в hdfs из Python с использованием пакета HDFSCli.

3. Наконец, вы можете сохранить модель локально и поместить ее в HDFS, используя локальный клиент hdfs из командной строки, если он установлен. Вы можете вызвать его прямо из Python.