Я использую Google API классификации контента на естественном языке .
Я выполняю проверку подлинности через файл .json учетной записи службы в каталоге с путем, указанным в переменной среды GOOGLE_APPLICATION_CREDENTIALS.
Нет проблем при запуске сценария классификации как 1 экземпляра.
Однако, когда я запускаю свой сценарий классификации параллельно (4,6,8,10 контейнеров Docker, работающих на 1 машине), иногда я получаю ошибку ниже:
[Errno 24] Too many open files: '/PATH/TO/MY-JSON_KEY.json'
Я прочитал связанных вопросов , которые предлагают увеличить ulimit:
Это похоже на способ обойти основную проблему.
Похоже, что вызов API библиотеки Google может открыть файл учетных данных, но не закрыть его?
UPDATE
это более длинное сообщение об ошибке, которое мне удалось получить:
google.auth.exceptions.TransportError: HTTPSConnectionPool (host = 'oauth2.googleapis.com', port = 443): превышено максимальное количество попыток с помощью url: / token (вызвано NewConnectionError (': не удалось установить новое соединение: [Errno 24] Слишком много открытых файлов '))