Следует, :authority
определяется RFC 7540 (https://tools.ietf.org/html/rfc7540#section-8.1.2.3) как:
поле псевдозаголовка включает в себя часть полномочий целевого URI ([RFC3986],Раздел 3.2) Полномочия НЕ ДОЛЖНЫ включать устаревший подкомпонент userinfo для URI схемы «http» или «https».
RFC 3986, в свою очередь, описывает полномочия как:
authority = [ userinfo "@" ] host [ ":" port ]
Так что да, он должен включать порт, если порт не используется по умолчанию для схемы.