Давайте сделаем шаг назад. Как вы думаете, почему вы должны искать адрес назначения и фильтровать его в пространстве пользователя? Разве операционная система не должна делать это для вас? Наверное, так и должно быть!
Вы на самом деле получаете дейтаграммы, которые вам не нужны? Если это так, скорее всего, потому что вы не сделали достаточно строгую настройку слушателя. Например, вы должны связывать и прослушивать только определенную многоадресную группу (адрес), порт и интерфейс. Возможно, вы не указали какую-то часть этого? Если это не так, возможно, вы объясните, что происходит, что заставляет вас задать этот вопрос.