Вы можете установить координаты, если используете пустой макет:
panel.setLayout(null);
Button b = new Button(....);
panel.add(b);
b.setSize(width, height);
b.setLocation(x,y);
Но настоятельно рекомендуется использовать макеты. Классы макетов не "раздражают", они ваши друзья, если вы правильно их понимаете.
Я предлагаю прочитать учебник по GridBagLayout , он прост для понимания (вроде таблиц html) и очень мощный.