К сожалению, быстрый ответ на прозрачность окна, по крайней мере, отрицательный (если кто-то не хочет доказать, что я неправ, что мне бы очень хотелось!) Снимки экрана могут работать лучше, чем вы думаете, хотя, если содержимое окна не сильно меняется.
Метод AWTUtilities (или то же самое в официальном API начиная с Java 7 и далее) требует аппаратного ускорения, которое запрещает ему работать на 100% надежно на всех платформах, поэтому не обязательно будет работать даже на всех Windows-системах.