Оказывается, что Googles API на самом деле не работает с "localhost".
Я использую сервис из ngrok , который генерирует публичный URL на мой адрес localhost. Я включил этот сгенерированный URL из ngrok в моей консоли google , и теперь все работает нормально.
Позор Google, что я не упомянул об этом в документации!