$ sort -t_ -u -k2 file
www.site.com/324242_1234
www.site.com/6545_2345
www.site.com/87745_456
предполагает отсутствие предшествующих подчеркиваний.
awk
решение может быть
$ awk -F_ '!a[$NF]++' file
www.site.com/324242_1234
www.site.com/6545_2345
www.site.com/87745_456
Пояснение После установки разделителя полей, $NF
ссылается на последнее поле, a[$NF]++
подсчитывает вхождения каждого значения, начиная с нуля.!a[$NF]++
отрицает значение, поэтому оно будет истинным, только когда счетчик равен нулю, что является первым экземпляром значения ключа, которое просматривалось.На этом сайте есть много примеров этой awk
идиомы.