Вот исходный код сериализатора. https://github.com/encode/django-rest-framework/blob/master/rest_framework/serializers.py
Как видите, удаления нет. Я думаю, что причина в том, что нечего сериализировать / десериализировать, когда вы делаете запрос на удаление.
Подумайте, что это значит под сериализацией и десериализацией. Это процесс превращения объекта в памяти в строковое представление (или наоборот). Когда мы делаем запрос на удаление / Foo / 5, в строке не дается десериализация ничего, что можно десериализовать.
Если вы хотите настраивать поведение во время удаления, вы можете переопределить delete () в viewset.