Это бросило меня в тупик тоже. На самом деле я прошел через настройку общедоступного IP-адреса, хотя в конце концов мне это и не понадобилось.
Но да, ваш комментарий правильный. URL-адрес обратного вызова передается в Google во время перенаправления, после чего после проверки подлинности в Google Google перенаправит вас обратно на URL-адрес обратного вызова, предоставив в качестве параметра код авторизации.
Единственный обмен данными между серверами - обмен кодами авторизации для доступа и обновления токенов. Обычно это происходит на странице обратного вызова. Но поскольку он инициирован вашим сервером, а не Google, никаких специальных открытых портов не требуется.