Звучит так, будто вы пользуетесь интернетом лицом к ELB.В этом случае DNS ELB разрешается на общедоступные IP-адреса независимо от того, разрешаете ли вы его из того же VPC или вне VPC.Правила группы безопасности, относящиеся к другим группам безопасности, в этом случае неприменимы.
Это не похоже на экземпляры EC2, DNS которых будет разрешать частные IP-адреса внутри VPC и публичные IP-адреса вне VPC.
Два возможных решения:
1. Назначьте Elastic IP для экземпляра Varnish / Nginx и разрешите этот IP в группе безопасности ELB.
2. Используйте внутренний ELB, который разрешает частные IP, еслиэто подходит для вашего случая использования.