Зависит, если вы хотите сделать что-то еще с формой. Если оно отображается где-то еще, кроме администратора, и вы также хотите исключить то же поле, определите его в ModelForm. Если ModelForm используется только в админке и больше нигде, вы можете выбрать то, что имеет для вас больше смысла. Лично я все равно оставляю его в ModelForm, поэтому эта функциональность привязана к нему, а не к администратору.
Редактировать (см. Комментарии ниже):
Видимо, в Django есть ошибка. Если я исключаю что-то в ModelForm, а затем использую эту форму в ModelAdmin, он по какой-то причине все еще показывает это поле. Лучше исключить в администраторе только для уверенности на 100% или указать fields в ModelForm без поля, которое вы хотите исключить.