Python - это не Java, поэтому в самом Python нет встроенных опций для управления использованием памяти, и Bokeh не пытается вручную прокрутить какое-либо специальное решение в этой области. Единственный вариант, который я могу предложить, это запустить сервер Bokeh в каком-то облегченном контейнере виртуальной машины, который предоставляет некоторую опцию максимальной памяти, или, возможно, есть способ использовать Lifecycle Hooks для активного мониторинга использования памяти самостоятельно, и активно уничтожать сессии, если превышен лимит.