Как задокументировано, вам необходимо установить значения вашего подкласса InlineModelAdmin:
InlineModelAdmin.verbose_name - переопределение verbose_name, найденного во внутреннем мета-классе модели.
InlineModelAdmin.verbose_name_plural -Переопределение к verbose_name_plural, найденному во внутреннем метаклассе модели.
В этом примере вместо заголовка «Устройство» мы используем «Телефон»:
class DeviceInline(admin.TabularInline):
model = Device
verbose_name = "Phone"
verbose_name_plural = "My Phones"