MyModel.objects.get(pk=1).delete()
это вызовет исключение, если объект с указанным первичным ключом не существует, потому что сначала он пытается получить указанный объект.
MyModel.object.filter(pk=1).delete()
это не вызовет исключения, если объект с указанным первичным ключом не существует, и он напрямую создает запрос
DELETE FROM my_models where id=1