Вам не нужно использовать NIO для этого, java.net.MulticastSocket
поддерживает это напрямую.
Но, чтобы полностью ответить на ваш вопрос, нет.Вы не можете использовать DatagramChannel
, потому что вы не можете сказать ему, какой сокет использовать, и нет ничего более близкого к тому, что вам понадобится в NIO.