Используйте combineLatest вместо zip. Пользователь может только удалить элемент из одного раздела за один раз, и zip ждет, пока оба раздела не передадут новое значение, прежде чем выдать. Могут быть и другие проблемы, но это точно.
Мне понадобится увидеть компилируемый код для вашей модели представления, чтобы помочь в дальнейшем.