Есть ли в кафке какой-либо механизм, который отклонит сообщение, если в сообщении есть ключ, но это уже сообщение в кафке с таким же ключом?
Нет; нет; Kafka просто ведет линейный журнал записей.