К сожалению, похоже, что текстовое отступление является причиной такого поведения.
В прошлом я использовал кнопку изображения со значением, равным значению, аналогичному исходной кнопке, с прозрачным изображением, чтобы можно было использовать фоновое изображение:
<input type="image" class="btn-delete" value="Delete" src="spacer.gif" />