Это довольно дурацкое решение, но вот как я его решил:
class FooInline(admin.TabularInline):
model = Foo
def get_fieldsets(self, request, obj=None):
url = request.get_full_path()
if '/add/' not in url:
self.template = 'listing.html'
return super(FooInline, self).get_fieldsets( request, obj)