GCP большое сообщение PubSub беспорядок в триггере облачной функции

Question

Я развернул простой триггер облачной функции PubSub, используя этот учебник: https://medium.com/@milosevic81 / copy-data-from-pub-sub-to-bigquery-496e003228a1 Для тестирования я отправил большое (более 8 МБ) сообщение в PubSub topi c. В результате функция Cloud вернула в журнал следующее сообщение об ошибке: Function execution could not start, status: 'request too large' Проблема в том, что облачная функция начала запускаться, постоянно производя постоянное использование ресурсов и сообщения журнала. Он остановился только после того, как я вручную очистил связанный PubSub topi c. Есть ли механизм / конфигурация для предотвращения такого поведения? В идеале сообщение PubSub не следует повторно выбирать после выполнения триггера облачной функции.

Answer 1

Вы достигли квоты облачных функций

Максимальный размер несжатого HTTP-запроса -> 10 МБ

Одно из решений - использовать Cloud Run (квоты выше, 32Мб)

Для этого нужно несколько изменений

• Конвертируйте свои облачные функции в Cloud Run. Я написал статью (не посвященную этому, но у вас есть пример в Python) , и я представил это на GDG Ahmedabad в прошлом месяце, в GO на этот раз
• Создайте подписку pu sh на своем PubSub topi c и используйте конечную точку HTTPS Cloud Run в поле HTTP «pu sh»

Cloud Run может обрабатывать до 80 одновременных запросов на 1 экземпляре, облачные функции только один. Поскольку ваш запрос «большой», это может вызвать проблемы с памятью, если вы обрабатываете слишком много запросов в одном экземпляре. Вы можете контролировать это с помощью Cloud Run с параметром --concurrency. Установите его в 1, чтобы иметь такое же поведение, что и у функций облака.