Для всех, кто сталкивался с этим, есть вариант, который немного чище.Если не указать ключ в стиле, это применимо ко всем столбцам.Это также использует заполнение, как хотел OP.
<ListView.Resources>
<Style TargetType="GridViewColumnHeader">
<Setter Property="Padding" Value="10,0" />
</Style>
</ListView.Resources>