Как масштабировать CoreNLP + Flask?

Question

Я хочу использовать CoreNLP на производстве, поэтому он должен быть достаточно масштабируемым. (5000 запросов с 9:00 до 17:00)

Я использую оболочку Python pycorenlp и использую фреймворк Flask в качестве конечной точки API.

Эта конечная точка API Flask размещена на Elastic Beanstalk (AWS). Причина: http://flask.pocoo.org/docs/dev/deploying/

Я знаю, что возможно запускать многопоточный сервер Stanford CoreNLP. Но достаточно ли этого? Должен ли я использовать несколько серверов coreNLP?

Каков наилучший способ сделать эту комбинацию достаточно масштабируемой? Я предполагаю, что сервер coreNLP должен работать на том же сервере, где расположена конечная точка Flask.

Answer 1

Даже однопоточный CoreNLP не должен иметь проблем с обработкой такого количества запросов. Например, в настоящее время я использую теги PoS и NER в новостных статьях средней длины. Это занимает до нескольких секунд на запрос. Некоторые модели, например Разрешение Coreference намного медленнее, чем другие. Убедитесь, что вы не используете модели, которые вам не нужны, например, установив -annotators=pos,lemma.