Google App Engine "Превышен предел мягкой памяти"

Question

У нас есть долгое время работающий сервис на Google App Engine (GAE). Однако через некоторое время мы начали получать ошибку в изображении. Без изменений в коде. Я не понимаю, почему у нас проблема, которой у нас не было раньше.

2020-01-05 08: 31: 32.704 UT C -8 Превышен предел мягкой памяти в 2048 МБ с 2068 МБ после обслуживания всего 0 запросов. Рассмотрите возможность установки большего экземпляра класса в app.yaml.

2020-01-05 08: 31: 32.705 UT C -8 Этот запрос вызвал запуск нового процесса для вашего приложения и, таким образом, вызвал ваш код приложения, который будет загружен в первый раз. Таким образом, этот запрос может занять больше времени и использовать больше ресурсов ЦП, чем обычный запрос для вашего приложения.

2020-01-05 08: 31: 32.705 UT C -8 Сбой запроса на прогрев. Пожалуйста, проверьте реализацию вашего обработчика прогрева и убедитесь, что он работает правильно.

Редактировать: Информация о системе;

Мы бежим python. У меня есть cronjobs.

Answer 1

использование памяти

Я испытываю ту же проблему увеличения памяти (утечки памяти?) В стандартной среде GAE, python3 + flask в проектах, которые выполнялись годами без любая проблема. Я также пробовал экземпляры с более высокой памятью, но это не было решением.

Переключение из библиотекиques_futures с запросами и набором расширений entrypoint: gunicorn -b :8080 -w 1 main:app Решил проблему для меня в одном из проектов.

Кажется что на python2 эти проблемы не возникают.

Answer 2

Знаете ли вы, сколько памяти он использует при локальном запуске?

С Stackdriver Profiler , который находится в бета-версии, вы можете узнать, что происходит с использованием вашей памяти.

При возникновении ошибки «Превышено мягкое ограничение частной памяти» вы можете выбрать один из двух вариантов:

1) Вы можете обновить свой экземпляр до другого с большим количеством памяти

2) Вы можете уменьшить порции данных, которые вы обрабатываете в каждом запросе, обработать файл XML небольшими порциями и сохранить работу меньшего экземпляра.

Здесь - это аналогичный пост, который может помочь.