Взгляните на Археоптерикс . У этого есть довольно много особенностей; это открытый исходный код, и он доступен в предварительно упакованном jar-файле.
Кстати, я использую JUNG и мне очень нравится. Он может выполнять различные кластеризации, но AFAIK, он не имеет встроенных возможностей дендрограммы. Поскольку у него есть графические возможности, вы можете развернуть свою собственную дендрограмму, но это потребует некоторой работы.