Сбой Tensorflow Serving с несколькими запросами одновременно

Question

Tensorflow Serving аварийно завершает работу с несколькими запросами одновременно, сообщение об ошибке:

*** Error in `tensorflow_model_server': double free or corruption (!prev): 0x00007ff474c18cc0 ***

Я пробовал дозировать, не получается.

Я пробовал:

sudo apt-get install libtcmalloc-minimal4
export LD_PRELOAD="/usr/lib/libtcmalloc_minimal.so.4"

получил другую ошибку с той же проблемой.

*** Error in `tensorflow_model_server': corrupted size vs. prev_size: 0x00007f2ee8fa7920 ***

Есть ли простой способ решить эту проблему без использования kubernetes?

Answer 1

К сожалению, здесь недостаточно информации для устранения проблемы.Если это проблема с вашей моделью, то вы, вероятно, в конечном итоге получите эту проблему, независимо от того, как вы ее обслуживаете.