Как сделать круговой JFrame, если это возможно?
Oracle имеет хороший учебник именно по этой теме: https://docs.oracle.com/javase/tutorial/uiswing/misc/trans_shaped_windows.html
Фасонные окна
Другая функция, представленная в релиз 6u10 - формирование окна эффект. С помощью шейпинга вы можете установить любой форма в неокрашенное окно. когда эффект применяется, желаемый область окна становится прозрачной. Таким образом, сочетание прозрачного и непрозрачные пиксели образуют Форма данного окна. Следующий изображения демонстрируют формирование окна в два случая:
[Текст извлечен из оригинальной статьи http://www.oracle.com/technetwork/articles/javase/translucent-shaped-windows-139324.html]