Я бы порекомендовал делать это программно, а не пытаться делать это с HTML, поскольку вы с большей вероятностью увидите согласованные результаты на разных платформах.
JButton btn = ...
btn.setHorizontalTextPosition(SwingConstants.LEFT);
Затем вы можете настроить размер шрифта, переопределив paintComponent (дополнительная работа) или изменив объект FontUIResource при запуске (хотя это повлияет на размер шрифта всех кнопок); например,
FontUIResource f = new FontUIResource("Tahoma", Font.PLAIN, 11);
Enumeration<Object> it = UIManager.getDefaults().keys();
while (it.hasMoreElements()) {
Object key = it.nextElement();
if (UIManager.get(key) instanceof FontUIResource) {
UIManager.put(key, f);
}
}