Попробуйте использовать два разных регулярных выражения, это будет проще
Выражение 1 для пробелов:
(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})\s+(\d{2,5})
Выражение 2 без пробелов, вы должны убедиться, что в нем есть символ EOL или модификатор / m, если у вас несколько строк:
(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})\:(\d{2,5})$
Сопоставьте с любым из двух и объедините результаты.