Это создает экземпляр класса (фактически он создает подкласс класса, как @biziclop прикинул) и возвращает его. Обычно это используется в классах типа «Фабрика», а именно:
public static Button createButton(int x, int y, String label){
return new Button(x,y,label){
void onClick(){
...
}
}
}
/* .... */
Button b = Toolkit.createButton(20,20,"Hello!");