кадр, содержащий также фоновое изображение, и должен быть полупрозрачным
Вам необходимо использовать поддержку Translucent and Shaped Window в Java. Это все еще (на Java 6) не в публичном API, поэтому оно может быть изменено. Эта ссылка имеет еще несколько примеров .