Если вы хотите создать алгоритмы самостоятельно и нуждаетесь в библиотеке, которая поможет создать / визуализировать их, взгляните на обработку. Это язык программирования / библиотека Java для визуализации 2D и 3D данных и обработки изображений, простой, но мощный и хорошо документированный для загрузки.
Я не знаю точно, в какой форме вы хотите создать сгенерированное лицо, но обработка также поддерживает массовые (3D) частицы.
См. Processing.org и openprocessing.org, что возможно.
Если вам нужен полный продукт / библиотека, которая уже выполняет весь процесс, схожий с facegen (www.facegen.com), я не думаю, что есть эквивалент Java.