Ваша команда содержит «причудливые кавычки» вместо обычных, в дополнение к отсутствующим }
.
awk '{if ($1 ~ /^##contig/) {next} else if ($1 ~ /^#/) {print $0; next} else {print $0 | "sort -k1,1V -k2,2n"} }' file.vcf > out.vcf
Изменение вашей команды на вышеприведенную должно работать должным образом.