Ваше предположение верно, вам нужно обратиться к сервису по его названию. Если служба не находится в пространстве имен по умолчанию, вам нужно использовать полное доменное имя:
<svc-name>.<namespace>.svc.cluster.local
Вместо того, чтобы жестко кодировать эту конфигурацию в контейнер, правильным способом будет применить ее в качестве карты конфигурации ккластеризовать и смонтировать его как том в указанный путь для модуля nginx.