Загрузка файла модели большого размера в веб-приложение - PullRequest
Новая
       63

Загрузка файла модели большого размера в веб-приложение

0 голосов
/ 18 декабря 2018

Я создал файл модели машинного обучения в формате маринада (~ 100 МБ).Чтобы получить результат анализа настроений, я должен вызвать этот файл.

Невозможно загружать этот файл каждый раз, так что я привык делать, я создал Worker процесс в gearman, который загружает этот файл и остается в режиме прослушивания.Как и у процесса Daemon

. Здесь приведен код механизма, который запускает процесс call_sentiment_worker на 4730 порту.Функция self.train загружает файл pickle 

def __init__(self):
    self.train()
    print "Trained..."
    self.gearman_worker = gearman.GearmanWorker( ['localhost:4730'] )
    self.gearman_worker.register_task('call_sentiment_worker', self.classify_demo)

Теперь в Python 3 gearman недоступен.

Какой эффективный способ справиться с этой ситуацией?Это может быть альтернатива gearman или какой-либо другой технике.

Редактировать 1

Ссылка на код - https://github.com/karimkhanp/sentiment-analysis/blob/2fd8e785f589a00f33dc165551028029151f10bd/without_gearman/sentiment_worker.py

...