Установить переполнение на видимое:
input {
overflow: visible;
}
А затем установите отступ, какой хотите.
Большая часть стилей, характерных для браузера, выполняется с помощью border - установите значение border-width на 0, если вы хотите использовать квадратную кнопку.