С помощью простого поиска в Google я нашел JFormattedTextField , вот пример о том, как его использовать.
Пример IP-адреса:
public static void main(String args[]) throws ParseException
{
JFrame frame = new JFrame("Test");
JTextField f = new JFormattedTextField(new MaskFormatter("###.###.###.###"));
f.setFont(new Font("Monospaced", Font.PLAIN, 10));
frame.add(f);
frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
frame.setSize(100, 50);
frame.setVisible(true);
}