Как заставить ядро ​​Jupyter Notebook выбрасывать из-за ошибки памяти в Kubernetes

Question

Я передаю блокнот Jupyter через кластер Kubernetes.И я установил resources.limits, чтобы кто-то не использовал всю память хост-серверов.

Хотя одна из проблем заключается в том, что ядра ноутбука jupyter после сбоя и автоматического перезапуска не выдают никаких ошибок OOM после того, как контейнер превысил память, что приведет пользователя в замешательство.

Так как я могу заставить ноутбук jupyter вызывать ошибку OOM при работе с Kubernetes?

Answer 1

Пожалуйста, посмотрите на решение из этого поста " Блокнот Jupyter: использование памяти для каждого ноутбука " при уничтожении ноутбука, когда он превышает определенный объем памяти.

Есть еще один приятный интерфейс (как сверху) от nbtop .

Answer 2

Если у вас есть только один конкретный модуль, вы можете отслеживать события / журналы, , как здесь :

kubectl get events --watch 
kubectl logs -f podname

Как говорится, не все о событиях в жизненном цикле pod сообщается правильно, как показано в kubernetes/kubernetes выпуск 38532 и (отменено) PR 45682 .
Но вы все равно должнысм OOMKilled:true когда docker inspect в стручке.