Этого запроса вполне достаточно, чтобы получить список пользователей:
select user_from as UserName
from t
union -- intentional to remove duplicates
select user_To as UserName
from t;
Если вам нужен счет, то:
select count(*)
from (select user_from as UserName
from t
union
select user_To as UserName
from t
) t;