Как сохранить огромный Word для vec объектов и моделей объектов - PullRequest
0 голосов
/ 10 июля 2019

Я делаю задачу классификации, используя Python Sci-Kit Learn. Я использую логистическую регрессию с мультиклассом и также работаю над vec. В качестве части слова для vec я использую этот огромный файл gz, который в разархивированном виде составляет 3,5 ГБ https://drive.google.com/file/d/0B7XkCwpI5KDYNlNUTTlSS21pQmM/edit?usp=sharing

Моя часть тестирования происходит как часть конечной точки колбы питона. Как только слово для vec объекта и моя модель обучения готовы, я сохраняю их в локальной файловой системе, используя pickle, и при запуске приложения фляги загружаю эти два объекта, и все работает. Однако я должен разместить это приложение на Python как ресурс Azure kubernetes. Я не уверен, каков правильный подход к загрузке модели и слова в векторный файл vec. Очевидно, неправильно отправлять их в git repo. Можно ли как-нибудь загрузить их в качестве статического ресурса и использовать в своем приложении из AKS? Я уверен, что это стандартная проблема, и я хотел бы знать, как ученые данных справляются с этим. Обратите внимание, что это обучение не будет происходить часто, и мы можем обойтись без какой-либо автоматизации для загрузки модели и файла wv на данный момент. Я просто хочу узнать, что является лучшим способом быстрого доступа к большим файлам в службе Azure Kubernetes. с нетерпением жду ответа от вас

...