Облачной функции Google требуется большой (3 Гб) файл справочных данных для вычисления результата - PullRequest
0 голосов
/ 21 июня 2020

Я хочу написать функцию запуска облака Google, которая запускает инструмент биоинформатики. Этот инструмент принимает большой файл справочных данных 3 Гб в качестве входных данных только для чтения (https://github.com/Illumina/SpliceAI#usage) + небольшой второй файл, размер которого зависит от ввода пользователя. Следует ли мне попытаться встроить файл справочных данных в свой образ docker или есть способ лучше?

1 Ответ

2 голосов
/ 21 июня 2020

Используя Cloud Run, ваш единственный вариант - записать файл в свой контейнер. Если вы используете для него внешнее хранилище, а затем считываете его в Cloud Run, вы на go превысите квоту памяти, которая составляет 2 ГБ. Поскольку Cloud Run также использует системную память для любых файлов, которые вы пишете при запуске, вы буквально не можете прочитать файл в контейнер во время выполнения. Интересно, что Cloud Run не учитывает файлы, запеченные в контейнер, в соответствии с этим пределом, который обсуждается здесь: Применяется ли ограничение памяти Google Cloud Run к размеру контейнера?

Я не знаю, что будет происходит с контейнером 3 ГБ, но это не должно быть слишком сложно проверить. Конечно, у вас будут проблемы с ограничением памяти, если вам нужно прочитать весь файл данных в память.

Если есть проблемы с ним, вам, вероятно, следует обратиться к другой службе, такой как App Engine Flexible, которая позволит использовать постоянные диски и гораздо больший объем памяти.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...