Переработать решение Фредерика, но должно быть быстрее, если AddressID - это ваш PK (кластеризованный). Также используйте LEFT JOIN, если нет адресов для контакта. Если он обязательно есть, замените INNER JOIN:
SELECT t1.contactid,
t1.name,
t1.department,
t2.address
FROM t1
LEFT JOIN t2
ON t2.addressid = (SELECT TOP 1 x.addressid
FROM t2 x
WHERE x.ownerid = t1.contactid
ORDER BY t2.added ASC)
Вы уверены, что хотите самый старый? Измените ASC на DESC, если вы хотите самый новый.