Похоже, вы просто не храните секреты потребителя или токена в менеджере токенов. Я вижу, что вы используете InMemoryTokenManager, который только для семплов , поскольку он не хранит эти секреты постоянно.
Даже если вы используете InMemoryTokenManager, обязательно запрограммируйте экземпляр, который использует GoogleConsumer, с вашим ключом потребителя, секретом потребителя, токенами и секретами, чтобы этот метод не вызывал исключение.